自監督式學習

自監督式學習係機械學習嘅一隻分椏，係一種中間形式介於監督式學習同非監督式學習嘅。自監督式學習涉及一種自主式學習，使到人工神經網絡做協助而嘸需要啲人類預先分類好嘅樣本數據。首先，隻網絡會面對一隻pretext任務，相對容易解決同評估嘅，但需要對數據有高水平嘅語義理解，解決佢反過來有助於解決另一隻下游任務。雖然第一步主要係基於啲偽標籤，啲透過轉換原始數據嚟生成嘅，但實際分類過程可以透過監督式或者非監督式學習來進行。背後嘅惗法畀pretext任務嘅係，解決隻相對簡單尐嘅問題會初始化啲權重畀神經網絡，令到隻模型得用喺其他啲應用。近排自監督式學習體現出嘅成果幾有前途吓，並已得到實際應用喺處理圖像、影片同音頻當中，着Facebook等用喺自動嘅語音識別裏頭。

區別戥其他種機械學習 
自監督式學習屬監督式學習嘅範圍，因為目的畀種途徑都係生成分類好嘅輸出跟啲輸入來，之不過冇明顯用到帶標籤嘅輸入輸出孖。相反，相關性、數據裏頭𤗈有嘅中繼資料或者存在喺輸入裏頭嘅領域知識得到隱式、自動噉提取跟數據出。然後啲訊息，啲生成跟數據本身嘅就着攞嚟做分類。

之但係，自監督式學習都類似非監督式學習，因為佢嘸使明確指定任何標籤喺啲做例子嘅數據裏頭。但相較非監督式學習，實際嘅學習過程並冇憑藉固有嘅數據結構。

監督式學習同非監督式學習嘅結合喊做半監督式學習，裏頭只有一部分仔學習資料得到標記。之相較自監督式學習都有好大嘸同，因為後者嘸需要任何明確嘅標籤。

應用 
自監督式學習佢效率高過監督式學習好多，尤其係喺樣本數據攞嚟學習嘅係好少嘅情景下。種情況下，種方法有可能克服到傳統機械學習嘅局限性並開拓出新嘅應用領域。自監督式學習特別啱自動處理圖像、語音同影片。例如，Facebook 開發了一種自監督式演算法帶有 wav2vec 嘅來執行自動語音識別，其中使到兩隻深度卷積神經網絡係相互構建嘅。Google 開發嘅 BERT 模型着用嚟譬如等理解上下文畀啲嘢檢索查詢嘅理解得好多尐。另外，OpenAi 研究出一種喊做 GPT-3 嘅自回歸語言模型使喺處理自然語言嘅，可以攞來翻譯文本或者回答問題等。現有嘅方法似聚類、降維或者推薦系統之類都可以得到改進憑自監督式學習。具體嘅應用例有自動駕駛 、機械人手術或者單目內窺鏡檢查。

軟件 

Lightly - 開源 Python 庫畀自監督式學習畀圖像
 OpenSelfSup - 工具箱同排行榜畀監督式學習
 VISSL - 一隻組件庫，帶有拓展得、模塊化得與及擴展得嘅組件嘅，畀自監督式學習畀圖像

讀埋 
 Lan, Zhenzhong ; Chen, Mingda ; Goodman, Sebastian ; Gimpel, Kevin ; Sharma, Piyush ; Soricut, Radu: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. 26. September 2019
 Afouras, Triantafyllos ; Owens, Andrew ; Chung, Joon Son ; Zisserman, Andrew: Self-Supervised Learning of Audio-Visual Objects from Video. 10. August 2020
 Multi-Task Self-Supervised Visual Learning. 2017.

考 

機械學習