計算機視覺（Computer vision）是一門研究如何使機器 看 的科學，更進一步的說，就是指用攝影機和計算機代替人眼對目標進行識別、跟蹤和測量等機器視覺，並進一步做影像處理，用計算機處理成為更適合人眼觀察或傳送給儀器檢測的影像黃亞勤。基於視線跟蹤技術的眼控滑鼠研究與實現 D 西華大學，2011。 作為一門科學學科，計算機視覺研究相關的理論和技術，試圖建立能夠從影像或者多維資料中獲取「資訊」的人工智慧系統。這裡所指的資訊指夏農定義的，可以用來幫助做一個 決定 的資訊。因為感知可以看作是從感官訊號中提取資訊，所以計算機視覺也可以看作是研究如何使人工系統從影像或多維資料中 感知 的科學。 作為一個工程學科，計算機視覺尋求基於相關理論與模型來建立計算機視覺系統。這類系統的組成部分包括： 過程控制（例如工業機器人和無人駕駛汽車） 事件監測（例如影像監測） 資訊組織（例如影像資料庫和影像序列的索引建立） 物體與環境建模（例如工業檢查，醫學影像分析和拓撲建模） 交感互動（例如人機互動的輸入裝置） 計算機視覺同樣可以被看作是生物視覺的一個補充。在生物視覺領域中，人類和各種動物的視覺都得到了研究，從而建立了這些視覺系統感知資訊過程中所使用的物理模型。另一方面，在計算機視覺中，靠軟體和硬體實現的人工智慧系統得到了研究與描述。生物視覺與計算機視覺進行的學科間交流為彼此都帶來了巨大價值。 計算機視覺包含如下一些分支：畫面重建，事件監測，目標跟蹤，目標識別，機器學習，索引建立，影像恢復等。 計算機視覺的發展現狀 計算機視覺領域的突出特點是其多樣性與不完善性。 這一領域的先驅可追溯到更早的時候，但是直到 20 世紀 70 年代後期，當計算機的效能提高到足以處理諸如影像這樣的大規模資料時，計算機視覺才得到了正式的關注和發展。然而這些發展往往起源於其他不同領域的需要，因而何謂 計算機視覺問題 始終沒有得到正式定義，很自然地，計算機視覺問題 應當被如何解決也沒有成型的公式。 儘管如此，人們已開始掌握部分解決具體計算機視覺任務的方法，可惜這些方法通常都僅適用於一群狹隘的目標（如：臉孔、指紋、文字等），因而無法被廣泛地應用於不同場合。 對這些方法的應用通常作為某些解決複雜問題的大規模系統的一個組成部分（例如醫學影像的處理，工業製造中的質量控制與測量）。在計算機視覺的大多數實際應用當中，計算機被預設為解決特定的任務，然而基於機器學習的方法正日漸普及，一旦機器學習的研究進一步發展，未來「泛用型」的電腦視覺應用或許可以成真。 人工智慧所研究的一個主要問題是：如何讓系統具備「計劃」和「決策能力」？從而使之完成特定的技術動作（例如：移動一個機器人透過某種特定環境）。這一問題便與計算機視覺問題息息相關。在這裡，計算機視覺系統作為一個感知器，為決策提供資訊。另外一些研究方向包括模式識別和機器學習（這也隸屬於人工智慧領域，但與計算機視覺有著重要聯絡），也由此，計算機視覺時常被看作人工智慧與計算機科學的一個分支。 物理是與計算機視覺有著重要聯絡的另一領域。 計算機視覺關注的目標在於充分理解電磁波 主要是可見光與紅外線部分 遇到物體表面被反射所形成的影像，而這一過程便是基於光學物理和固態物理，一些尖端的影像感測器甚至會應用到量子力學理論，來解析影像所表示的真實世界。同時，物理學中的很多測量難題也可以透過計算機視覺得到解決，例如流體運動。也由此，計算機視覺同樣可以被看作是物理學的拓展。 另一個具有重要意義的領域是神經生物學，尤其是其中生物視覺系統的部分。 在整個 20 世紀中，人類對各種動物的眼睛、神經元、以及與視覺刺激相關的腦部組織都進行了廣泛研究，這些研究得出了一些有關 天然的 視覺系統如何運作的描述（儘管仍略嫌粗略），這也形成了計算機視覺中的一個子領域 人們試圖建立人工系統，使之在不同的複雜程度上模擬生物的視覺運作。同時計算機視覺領域中，一些基於機器學習的方法也有參考部分生物機制。 計算機視覺的另一個相關領域是訊號處理。很多有關單元變數訊號的處理方法，尤其對是時變訊號的處理，都可以很自然的被擴充套件為計算機視覺中對二元變數訊號或者多元變數訊號的處理方法。但由於影像資料的特有屬性，很多計算機視覺中發展起來的方法，在單元訊號的處理方法中卻找不到對應版本。這類方法的一個主要特徵，便是他們的非線性以及影像資訊的多維性，以上二點作為計算機視覺的一部分，在訊號處理學中形成了一個特殊的研究方向。 除了上面提到的領域，很多研究課題同樣可被當作純粹的數學問題。例如，計算機視覺中的很多問題，其理論基礎便是統計學，最最佳化理論以及幾何學。 如何使既有方法透過各種軟硬體實現，或說如何對這些方法加以修改，而使之獲得合理的執行速度而又不損失足夠精度，是現今計算機視覺領域的主要課題。 相鄰領域的異同 計算機視覺，影像處理，影像分析，機器人視覺和機器視覺是彼此緊密關聯的學科。如果你翻開帶有上面這些名字的教材，你會發現在技術和應用領域上他們都有著相當大部分的重疊。這表明這些學科的基礎理論大致是相同的，甚至讓人懷疑他們是同一學科被冠以不同的名稱。 然而，各研究機構，學術期刊，會議及公司往往把自己特別的歸為其中某一個領域，於是各種各樣的用來區分這些學科的特徵便被提了出來。下面將給出一種區分方法，儘管並不能說這一區分方法完全準確。 計算機視覺的研究物件主要是對映到單幅或多幅影像上的三維場景，例如三維場景的重建。計算機視覺的研究很大程度上針對影像的內容。 影像處理與影像分析的研究物件主要是二維影像，實現影像的轉化，尤其針對畫素級的操作，例如提高影像對比度，邊緣提取，去噪聲和幾何變換如影像旋轉。這一特徵表明無論是影像處理還是影像分析其研究內容都和影像的具體內容無關。 機器視覺主要是指工業領域的視覺研究，例如自主機器人的視覺，用於檢測和測量的視覺。這表明在這一領域透過軟體硬體，影像感知與控制理論往往與影像處理得到緊密結合來實現高效的機器人控制或各種即時操作。 模式識別使用各種方法從訊號中提取資訊，主要運用統計學的理論。此領域的一個主要方向便是從影像資料中提取資訊。 還有一個領域被稱為成像技術。這一領域最初的研究內容主要是製作影像，但有時也涉及到影像分析和處理。例如，醫學成像就包含大量的醫學領域的影像分析。 對於所有這些領域，一個可能的過程是你在計算機視覺的實驗室工作，工作中從事著圖象處理，最終解決了機器視覺領域的問題，然後把自己的成果發表在了模式識別的會議上。 計算機視覺的經典問題 幾乎在每個計算機視覺技術的具體應用都要解決一系列相同的問題。這些經典的問題包括： 識別 一個計算機視覺，影像處理和機器視覺所共有的經典問題便是判定一組影像資料中是否包含某個特定的物體，影像特徵或運動狀態。這一問題通常可以透過機器自動解決，但是到目前為止，還沒有某個單一的方法能夠廣泛的對各種情況進行判定：在任意環境中識別任意物體。現有技術能夠也只能夠很好地解決特定目標的識別，比如簡單幾何圖形識別，人臉識別，印刷或手寫檔案識別或者車輛識別。而且這些識別需要在特定的環境中，具有指定的光照，背景和目標姿態要求。 廣義的識別在不同的場合又演化成了幾個略有差異的概念： 識別（狹義的）：對一個或多個經過預先定義或學習的物體或物類進行辨識，通常在辨識過程中還要提供他們的二維位置或三維姿態。 鑑別：識別辨認單一物體本身。例如：某一人臉的識別，某一指紋的識別。 監測：從影像中發現特定的情況內容。例如：醫學中對細胞或組織不正常技能的發現，交通監視儀器對過往車輛的發現。監測往往是透過簡單的圖象處理 zhhans 發現；zhhant 發現 影像中的特殊區域，為後繼更復雜的操作提供起點。 識別的幾個具體應用方向： 基於內容的影像提取：在巨大的影像集合中尋找包含指定內容的所有圖片。被指定的內容可以是多種形式，比如一個紅色的大致是圓形的圖案，或者一輛腳踏車。在這裡對後一種內容的尋找顯然要比前一種更復雜，因為前一種描述的是一個低階直觀的視覺特徵，而後者則涉及一個抽象概念（也可以說是高階的視覺特徵），即腳踏車，顯然的一點就是腳踏車的外觀並不是固定的。 姿態評估：對某一物體相對於攝像機的位置或者方向的評估。例如：對機器臂姿態和位置的評估。 光學字元識別對影像中的印刷或手寫文字進行識別鑑別，通常的輸出是將之轉化成易於編輯的文件形式。 運動 基於序列影像的對物體運動的監測包含多種型別，諸如： 自體運動：監測攝像機的三維剛性運動。 影像跟蹤：跟蹤運動的物體。 場景重建 給定一個場景的二或多幅影像或者一段錄影，場景重建尋求為該場景建立一個三維模型。最簡單的情況便是生成一組三維空間中的點。更復雜的情況下會建立起完整的三維表面模型。 影像恢復 影像恢復的目標在於移除影像中的噪聲，例如儀器噪聲、動態模糊等。 計算機視覺系統 計算機視覺系統的結構形式很大程度上依賴於其具體應用方向。有些是獨立工作的，用於解決具體的測量或檢測問題；也有些作為某個大型複雜系統的組成部分出現，比如和機械控制系統，資料庫系統，人機介面裝置協同工作。計算機視覺系統的具體實現方法同時也由其功能決定 是預先固定的抑或是在執行過程中自動學習調整。儘管如此，有些功能卻幾乎是每個計算機系統都需要具備的： 影像獲取：一幅數字影像是由一個或多個影像感測器產生，這裡的感測器可以是各種光敏攝像機，包括遙感裝置，X 射線斷層攝影儀，雷達，超聲波接收器等。取決於不同的感測器，產生的圖片可以是普通的二維影像，三維圖組或者一個影像序列。圖片的畫素值往往對應於光在一個或多個光譜段上的強度（灰度圖或彩色圖），但也可以是相關的各種物理資料，如聲波，電磁波或核磁共振的深度，吸收度或反射度。 預處理：在對影像實施具體的計算機視覺方法來提取某種特定的資訊前，一種或一些預處理往往被採用來使影像滿足後繼方法的要求。例如： 二次取樣保證影像座標的正確 平滑去噪來濾除感測器引入的裝置噪聲 提高對比度來保證實現相關資訊可以被檢測到 調整尺度空間使影像結構適合區域性應用 特徵提取：從影像中提取各種複雜度的特徵。例如： 線、邊緣提取和脊偵測 區域性化的特徵點檢測如邊角檢測、斑點檢測 更復雜的特徵可能與影像中的紋理形狀或運動有關。 檢測 分割：在影像處理過程中，有時會需要對影像進行分割來提取有價值的用於後繼處理的部分，例如： 篩選特徵點 分割一或多幅圖片中含有特定目標的部分 高階處理：到了這一步，資料往往具有很小的數量，例如影像中經先前處理被認為含有目標物體的部分。這時的處理包括： 驗證得到的資料是否符合前提要求 估測特定係數，比如目標的姿態、體積 對目標進行分類 影響視覺系統的要件 光源佈局影響大需審慎考量。 正確的選擇鏡組，考量倍率、空間、尺寸、失真。 選擇合適的攝影機（CCD），考量功能、規格、穩定性、耐用。 視覺軟體開發需靠經驗累積，多嘗試、思考問題的解決途徑。 以創造精度的不斷提升，縮短處理時間為最終目標。 參考文獻 外部連結 Machine Perception of ThreeDimensional Solids the paper mentioned by Joseph Mundy in the video CVonline The Evolving Distributed NonProprietary OnLine Compendium of Computer Vision Introduction to computer vision（464KB pdf file） CMUs Computer Vision Homepage Fudan Universitys Computer Vision Lab Keith Prices Annotated Computer Vision Bibliography and the Official Mirror Site Keith Prices Annotated Computer Vision Bibliography HIPR2 image processing teaching package USC Iris computer vision conference list How to come up with new research ideas in computer vision in Chinese People in Computer Vision The Computer Vision Genealogy Project 參見 機器視覺 人工智慧與模式識別 影像處理 自動光學檢查 開放原始碼計算機視覺庫：OpenCV Category 電子工業 Category 光電子學 Category 顯示科技