拜爾濾色鏡

拜爾濾色鏡（英語：Bayer filter）是一種将RGB濾色器排列在光傳感元件方格之上所形成的馬賽克彩色濾色陣列（英语：Color filter array）。數位相機、錄影器、掃描器等使用的單晶片數位感光元件大多数用這種特定排列的濾色陣列来製作彩色影像。這種濾色器的排列有50%是綠色，25%是紅色，另外25%是藍色，因此也稱做RGBG ，GRGB ，或者RGGB。 拜爾濾色鏡以發明者伊士曼柯達公司的布萊斯·拜爾命名。拜爾也以有序抖動法中使用的遞歸定義矩陣而聞名於世。 可以替代拜爾濾色鏡感光元件的方案包括對其颜色和排列的改良，还有其他完全不同的技术，如色彩共位取樣、Foveon X3感光元件、分色鏡、透明繞射式濾波矩陣等。 布萊斯·拜爾在1976年的專利（美國專利編號3,971,065）中將綠色光傳感器稱作光敏偵測元件，而紅、藍色則稱為色敏偵測元件。他使用兩倍於紅色或藍色的綠色元件來模仿人眼的生理性質。人類視網膜白天同时使用了M與L视锥细胞来感光，对绿光最敏感。這些元件稱作感應元件、像素感應器、感應單元格（sensel）或簡單像素等。被它們感應偵測到取樣數值後，使用插值（Interpolation）形成影像像素。拜爾申請專利時也提議使用另一種相對顏色的集合，即印刷四分色模式（CMY）組合。后者在當時並不實用，因為缺少所需的染色，不過一些新款的數位相機已有使用。CMY染色最大的好處是有更佳的光線吸收特性，也就是說，量子效率較高。 拜爾濾色鏡相機的原始圖檔稱作拜爾圖像影像。因為每個像素只過濾并記錄RGB三種顏色的一種，這些從单个像素獲取的資訊並不能完整表現紅、綠、藍各色的組成數值。為了得到全色彩影像，可用不同的去馬賽克演算法來插值得到每个像素的紅、綠、藍色的組成數值。這些演算法利用週圍相同顏色的像素去估计一個特定像素的組成數值。 演算法運算量需求不同，最後成像的品質也有差異。數位相機自身能產生JPEG或是TIFF影像，不用數位相機而直接使用感應元件也能进行此操作。 去馬賽克有不同的實現方法。一些簡單的方式是对相鄰同色的像素數值进行內插。舉例來說，當晶片曝光得到一張影像後，每個像素就可以讀取出來。綠色過濾器的像素精確測量了綠色成分，而该像素紅色和藍色的成分則是從鄰區取得。一個綠色像素的紅色數值可由相鄰兩個紅色像素內插計算出来；同樣的，內插相鄰兩個藍色像素也能計算出藍色數值。 這種簡單的方法在顏色恆定或均勻变化时表現良好，但在颜色和亮度突变处卻會產生雜訊，比如滲色（Color bleeding），在锐利的邊角处特別明顯。因此，其它去馬賽克的方法嘗試辨認高對比的邊緣，然后僅僅順著這些邊緣做內插，而不越過邊緣。 别的演算法則假設影像裡的一塊區域顏色是相對恆常的，即使光照不同也是如此，那麼色彩通道就高度相關。因此，首先內插綠色通道，然後是紅色，再接著是藍色，所以紅綠與藍綠的色彩比是恆定的。还有其它方法对影像內容有不同设定，并以此嘗試計算遺失顏色的數值。 影像中接近數位感應器解析度的微小細節會給去馬賽克演算法造成問題，容易產生不像原始圖像的結果。最常出現的雜訊是莫列波紋（Moiré pattern），指的是可能出現重覆的圖案，色彩雜訊（Color artifacts）, 或者像素排列成類似迷宮般不真實的圖案。 濾色矩陣去馬賽克後普遍且不適宜的雜訊叫做錯誤顏色。一般而言，這種雜訊是指沿著邊緣顯現出不連貫、不自然的色彩偏移，这是由穿越邊緣而不是順沿邊緣的錯誤內插导致的。有各種方法來防止以及移除這種錯誤顏色。均勻色調轉變內插法（Smooth hue transition interpolation）在去馬賽克过程中可防止錯誤色彩顯露在最終成像上。也有可以在去馬賽克後移除錯誤色彩的演算法。后者的益處在于從影像移除錯誤色彩雜訊的同时可以使用更強大的去馬賽克演算法對紅色跟藍色平面做內插。 拉鍊狀雜訊是另外一種CFA去馬賽克的副作用，同样主要出現在沿著邊緣的地方。它也稱做拉鍊效應（Zipper effect）。簡而言之，拉鍊狀是邊緣模糊的另外一種说法，沿著邊緣出現開/閉的圖案时会有模糊。這種效應是由于去馬賽克演算法計算邊緣上的像素值平均時，特別是在紅色與藍色平面上，会形成特有的模糊感。正如上文所述，防止這種效應最好的方法是用各种沿著邊緣，而不是穿越邊緣的演算法做內插。圖案辨識內插法（Pattern recognition interpolation）、自我調整彩色平面內插法（Adaptive color plane interpolation）和方向權重內插法（Directionally weighted interpolation）都試圖防止在影像裡沿著偵測到的邊緣做內插時出現拉鍊狀的雜訊。 不过，即使使用理論上能夠各個感光單元上拍攝辨識所有顏色的完美無暇的感應器，莫列波紋與其它種類的雜訊仍有機會出現。這是任何以離散间隔或位置對連續訊號取樣的系統都無法避免的結果。有鉴于此，几乎所有圖相數位感應器都带有诸如光學低通濾波器（Optical low-pass filter，OLPF）或者抗混疊濾波器（Anti-aliasing filter）的東西。這東西通常是一個放置在感應器之前的薄層，作用是模糊掉比感應器的解析度更細緻的細節，以免出现潛在問題。 拜爾濾色鏡幾乎用於全世界的消費性數位相機。其他濾色鏡有CYGM濾色器(青綠色（Cyan）、黃色（Yellow）、綠色（Green）、洋紅色（Magenta））和RGBE濾色器 （紅色，綠色，藍色，翠綠色（Emerald）），同樣需要類似的去馬賽克處理。而Foveon X3感光元件（将紅色、綠色、藍色感光元件垂直疊起，而不是使用一般的馬賽克圖像）和三分離CCDs（一個CCD對應一種顏色）的排列則不需要去馬賽克。 2007年6月14日，伊士曼柯達公司发布一種拜爾濾色鏡的替代品，这种濾色器憑藉能偵察所有可見光波長并蒐集大量照進感光元件的光線的全色單元，增強數位相機感光元件對光感測力。他們展示了數種圖案，但沒有一種是跟拜爾圖像2x2一樣小的重覆組合。 另外一種Edward T. Chang 2007年申請的美國專利是一種由2x2區塊像素感光元件构成的濾色器，每个區塊由一個紅色，一個藍色，一個綠色，以及一個透明像素建構而成。這種設定意圖增强对紅外線的感應，进而提高整体感測力。柯達公司的專利申請時間較早。 這樣的單元已在“CMYW”（青綠（Cyan）、洋紅（Magenta）、黃色（Yellow）、白色（White））以及“RGBW”（紅色、綠色、藍色、白色）的感光元件中使用，但是柯達公司尚未将新設計的濾色圖像與之比較。 富士相機（Fujifilm）的EXR濾色陣列可用于CCD製造（SuperCCD）和CMOS（BSI CMOS）。像SuperCCD一样，濾色器本身旋轉45度。与常見的拜爾濾色鏡設計不同的是，總是有兩個鄰接的感光單元偵測相同的顏色。如此設計是為了促進像素合併（Pixel binning），即合併兩個鄰接的感光單元，以使感光元件本身對光線更敏感。另外一個原因是感光元件可記錄兩個不同的曝光值，然後合併產生具有較大動態範圍（Dynamic range）的影像。底层線路有兩條讀出（read-out）通道，可以每隔一列攜帶感光元件的資訊。這樣“EXR”濾色陣列可以當做兩個交錯的感光元件，曝光時間可以彼此不同。可以故意让一半感光單元曝光不足，以完整拍攝景像較光亮的區域。得到的強光資訊可以與感光元件另外一半記錄著完全曝光的輸出混合，且可再次利用相似色彩感光單元的空間鄰近。 富士相機X-Trans CMOS感光元件用在許多Fujifilm X-series的相機裡，据稱比拜爾濾色鏡針對色彩莫列波紋擁有更好的抵抗性，所以製作相機時能夠不需要抗混疊濾波器(Anti-aliasing filter)。這让使用這個感光元件的相機在畫素數量相同时解析度更高。這種新的設計还宣稱，由于各條線裡都有紅、藍、綠色像素，偽色（False colors）现象可以減少，像素的半隨機排列据稱可以产生更像膠卷的紋理。 光彩色片（Autochrome Lumière） Pentile矩陣 去马赛克 美国专利3971065 (PDF 版本)（于1976年07月20日注册）Bryce E. Bayer——彩色影像陣列。  on web Jeff Mather. Adding L* to RGBG. 2008 [2016-04-24]. （原始内容存档于2011-07-13）.  dpreview.com. Sony announce 3 new digital cameras. 2000 [2016-04-24]. （原始内容存档于2011-07-21）.  Margaret Brown. 進階數位圖學. Media Publishing. 2004. ISBN 0-9581888-5-8.  Thomas Maschke. 數位相機技術：數位相機的理論與實踐. Springer. 2004. ISBN 3-540-40243-8.  Wang, Peng; Menon, Rajesh. 透過透明繞射式濾波陣列以及計算式光學的超高感測色彩成像. Optica. 29 October 2015, 2 (11): 933. doi:10.1364/optica.2.000933.  Patent US3971065 - Color imaging array - Google Patents. [2016-04-24]. （原始内容存档于2013-08-11）.  John Compton 與 John Hamilton. 濾色陣列 2.0. A Thousand Nerds: A Kodak blog. 2007-06-14 [2011-02-25]. （原始内容存档于2007-07-20）.  美國專利號 20070145273 "高感測紅外線彩色相機". （原始内容存档于2005-07-20）.  美國專利申請號 20070024879 "處理色彩與全彩像素". （原始内容存档于2005-07-20）.  L. J. d'Luna; et al. 一個數位攝影訊號後處理器針對彩色影像感應器而設計. Proceedings of the Custom Integrated Circuits Conference. 1989, 1989: 24.2/1 [2016-04-28]. doi:10.1109/CICC.1989.56823. （原始内容存档于2009-01-29）. 各種類的CFA圖案能被運用，憑藉著各式紅、綠、藍色(RGB)，或者是青綠、洋紅、黃色、白色(CMYW)排列。  Sugiyama, Toshinobu, 美國專利號 20050231618, "影像拍攝儀器" 互联网档案馆的存檔，存档日期2017-02-22., filed March 30, 2005 富士相機X-Trans感光元件科技. [2012-03-15]. （原始内容存档于2012-04-09）.  或可稱做拜爾濾鏡、拜爾濾色器、拜爾濾色片、貝爾濾鏡、貝爾濾色器，但貝爾為錯誤音譯。 英文原名為Color filter array 英文原名為Ordered Dithering 英文原名為Bayer ordered dither matrix，可參考Ordered dithering 英文原名為Color co-site sampling 英文原名為Dichroic mirrors 英文原名為Transparent diffractive-filter array （英文）RGB "Bayer" Color and MicroLenses （页面存档备份，存于互联网档案馆）, Silicon Imaging (design, manufacturing and marketing of high-definition digital cameras and image processing solutions) （英文）eLynx image processing library （页面存档备份，存于互联网档案馆）, Big set of Bayer mosaic manipulation source code under GPL. （英文）Efficient, high-quality Bayer demosaic filtering on GPUs （英文）http://www.inf.fu-berlin.de/lehre/WS02/robotik/Vorlesungen/Vorlesung2/ComputerVision-2.pdf （页面存档备份，存于互联网档案馆） （英文）https://web.archive.org/web/20160304100515/http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf （英文）http://www.cambridgeincolour.com/tutorials/camera-sensors.htm （页面存档备份，存于互联网档案馆）