18 世紀嘅《花箋zin1記》文本；好似《花箋記》噉嘅木魚書包含咗好多用明清時期粵語寫嘅文字，可以畀語言學家攞嚟研究嗰個時期嘅粵語。
**語言資源**（粵拼：jyu5 jin4 zi1 jyun4；英文：**language resources**）係指一啲用嚟幫手整語言處理技術—例如自然語言處理—嘅資源。一隻語言嘅資源，通常會係一啲將隻語言寫低嘅文字，呢啲文字要配合口語，例如用粵語白話文寫成嘅文字可以用嚟做粵語嘅語言資源，但係中文書面語喺文法同用詞上基於標準官話，唔可以攞嚟做粵語嘅資源。語言資源可以嚟自語料庫、維基百科同社交媒體等嘅地方。

語言資源對於教人工智能處理語言嚟講係不可或缺嘅。噉係因為教電腦處理一隻語言，通常都係要畀電腦讀取一大堆用嗰隻語言寫出嚟嘅文字。例如要整 ChatGPT，設計者就用咗閒閒哋幾億字咁多嘅英文文字。除此之外，語言資源亦可以攞嚟做語言學研究嘅材料。

資源有咩用
-----

內文：自然語言處理
睇埋：語料庫、維基百科同埋網頁刮料
語言資源對於自然語言處理—即係教人工智能處理自然語言嘅技術—嚟講係好重要嘅。噉係因為喺廿一世紀初，要教 AI 處理一隻語言，梗要畀部電腦讀取大量由嗰隻語言寫出嚟嘅字句。

> **NLP 入門例子：N-gram**  
> 
> 
> 
> 舉個簡單嘅例子說明，N-gram 算係一種比較簡單嘅 NLP 技術，但已經可以用嚟教電腦分辨一段文字係咩語言（語言辨認）。N-gram 建基於一個簡單嘅事實：語言同文字本質上就係一串串符號。想像而家有一串 100 隻字符咁長嘅符號－`LLLRLRRRLL...`，一個 3-gram 嘅演算法會睇每串**連續三個符號**係咩樣，再用前兩個符號估計下一個符號最有可能會係乜嘢樣；例如想像家陣手上有串噉嘅粵語字：
> 
> 
> `我鍾意寫粵語維基，可以為粵語提供多啲語言資源。`
> 假想而家淨係齋睇呢段字：如果打前兩個字符係`鍾意`，跟住嗰個符號係`寫`嘅機率係 100% －喺串字入面，`鍾意`出現咗一次咁多，而喺嗰次當中串嘢跟住嘅字符係`寫`；所以上面段嘢嘅 3-gram 當中，「**鍾意**後面掕**寫**」嘅機率係 100%。實際應用上嘅 n-gram 會用大量語言資源嚟做類似噉嘅估計，計出一隻文字啲字符以至字詞之間嘅統計關係。數學化啲講，一個 n-gram 模型定義上係用
> 
> 
> {\displaystyle x\_{i-(n-1)},\dots ,x\_{i-1}}
> 嘅數值嚟預測 {\displaystyle x\_{i}}，從而計出
> 
> 
> {\displaystyle \Pr(x\_{i}\mid x\_{i-(n-1)},\dots ,x\_{i-1})} 
> 淨係靠住 n-gram 已經可以做到一啲比較基本嘅 NLP 工作。
> 
> 

好似 n-gram 呢啲噉嘅技術，必定需要有一大批語言資源：是但搵隻語言，要教電腦學識隻語言嘅 n-gram 就有必要搵一大拃用嗰隻語言嘅口語寫成嘅文字。呢啲噉嘅文字，可以源自語料庫、維基百科同埋社交媒體等嘅來源。

低資源語言
-----

內文：語言威望同雙層語言#東亞情況
睇埋：錯別字、俗字、異體字同埋三及第
有啲語言係所謂嘅**低資源語言**。定義上，如果話一隻語言係低資源語言，意思即係話隻語言嘅資源唔夠用，尤其係缺乏人手整理好—精確啲講即係用標記語言標籤好—嘅語言資源。例如廿一世紀初嘅粵語就被指係一隻低資源語言。

粵語之所以會低資源，一個主因係佢有雙層語言嘅現象：雙層語言簡單講，係指一個語言群體入邊存有兩隻語言，其中一隻畀人覺得係「高檔啲、可以攞嚟寫嘢」而另一隻畀人覺得係「低級啲、唔啱攞嚟寫嘢，或者淨係可以攞嚟寫粗口同鹹濕笑話」—喺廿一世紀初嘅粵港澳，以粵語做母語嘅人好多都慣咗寫嘢嗰陣要用建基於標準官話嘅中文書面語，唔肯寫粵語白話文，或者想寫粵語白話文都唔覺意夾雜咗中文書面語先有嘅用法。而如果攞用咗中文書面語寫嘅文字當做粵語語言資源嚟訓練 AI 學粵語，就會出好似以下噉「唔鹹唔淡」嘅 output ：

Output：「有一日，一只雞跟一隻兔兩兄弟把車開去自己屋企。突然間車就壞咗。」
純中文書面語：「有一天，一只雞跟一只兔兩兄弟把車開去朋友家。突然間車就壞了。」
純粵語白話文：「有一日，一隻雞同一隻兔兩兄弟揸車去朋友屋企。突然間架車就壞咗。」
除此之外，一隻語言「地位低」亦會引致第啲問題，例如係錯別字、俗字同異體字呀噉：地位低嘅語言有一種特徵，就係往往缺乏標準化；有唔少語言都經過咗標準化嘅過程，會有政府提供資源制定同教授「標準讀音」同「標準寫法」，但係包括粵語在內嘅好多語言都缺少咗呢樣嘢；噉就會引致一類問題，就係啲使用者對於「呢隻呢隻口語會講嘅字詞，要點樣寫呢？」呢一條問題冇共識，例如响廿一世紀初嘅粵語書寫當中，**啲**有陣時會畀人寫做 **d** 噉，又有好多口語字詞係啲人識講唔識寫嘅，好似係

|  |  |  |
| --- | --- | --- |
| **粵拼** | **漢字寫法** | **例句** |
| Ham6 baang6 laang6 | 冚唪唥 | 落堂鐘一響，啲學生冚唪唥跑晒出班房外面。 |
| Ung2 | 㧬 | 斯薛佛斯佢重複又重複噉㧬嚿石頭上山。 |
| Ap1 | 噏 | 阿蟲佢份人，一向都係隨口噏當秘笈嘅。 |

用呢隻語言寫出嚟嘅文字多「唔標準嘅寫法」，就容易擾亂 NLP 演算法，又係會搞到電腦嘗試畀 output 嗰陣出埋晒一啲「唔鹹唔淡」嘅字句。

因為呢啲噉嘅問題，低資源語言就難以搵到文字材料用嚟教 AI 寫。例如截至 2023 年尾，Google 翻譯支援中文書面語（標準官話）、日本話同印地話等嘅主流大語言，但係依然仲未支援粵語。

睇埋
--

* 樣本大細
* 機械翻譯
* 大型語言模型

> **Info：語言資源要多樣化**  
> 
> 
> 
> 原則上最理想嘅情況係，一隻語言有多種唔同來源嘅資源可以用。舉例說明，淨係一味靠維基百科會有問題，噉係因為啲人用口語講日常生活嘢同埋用口語講知識性質嘅嘢嗰時，啲用字都可能會唔同；粵維嘅文可以有以下呢啲用法，因為呢啲用法有粵語特色得嚟又合乎百科嘅客觀原則：
> 
> 
> 
> 
> |  |  |  |
> | --- | --- | --- |
> | **用法** | **例句** | **呢句例句會喺邊度見到？** |
> | 啱啱好 | 「地球嘅溫度啱啱好，能夠容納生命。」 | 講生命或者地球等課題嘅文 |
> | 成日 | 「蜜蜂成日都會用佢哋嘅針攻擊敵人。」 | 講蜜蜂或者昆蟲等課題嘅文 |
> | XX 吓 | 「白雪公主行行吓，見到小矮人間屋。」 | 講白雪公主以至其他童話故事嘅文 |
> | 諗頭 | 「科幻作品好多時都會講到當代科學上嘅重要諗頭。」 | 講科幻相關課題嘅文 |
> | 硬淨 | 「鋼非常硬淨，一般認為用鋼起建築物係好穩陣嘅。」 | 講建築相關課題嘅文 |
> 
> 
> 但無論邊隻語言嘅維基都好，百科式嘅文係要客觀嘅，唔可以表達作者嘅主觀情感，所以例如「呢個科學發現令我哋覺得好驚嘆」噉嘅句子，一般都係唔可以接受嘅。粵維會缺少呢啲噉嘅句子。不過要全面噉理解一隻語言—無論係粵語、標準官話定英文都好，都需要睇勻晒日常生活對話、知識性質對話、以及表達主觀情感嘅句子... 等嘅唔同材料先至得。因此，要搜集粵語嘅語言資源，亦需要有粵維以外嘅第啲來源。
> 
>

註解
--

1. ↑  想知呢啲數學符號係咩意思，可以睇睇概率論。

參考
--

篇文用咗嘅行話或者專有名詞，英文名如下：

1. ↑  natural language processing，NLP
2. ↑  low-resource languages
3. ↑  diglossia

篇文引用咗以下呢啲文獻同網頁：

1. ↑  （繁體中文 - 香港） LAM, S. T. (2017). 淺析明末清初的給予句標記及 畀 字的語法功能和語法化過程: 以木魚書《花箋記》 和《二荷花史》 作例 (PDF)，呢篇文睇木魚書，探討明朝粵語同廿一世紀初粵語喺**畀**嘅運用上有乜分別，發現原來當時嘅粵語白話文會喺雙及物動詞當中用**與**呢隻字，用**我送禮物與秀才**噉嘅句子表達**我送禮物畀秀才**嘅意思。
2. ↑  Russell, S. & Norvig, P. (2002). *Artificial intelligence: a Modern Approach*. Pearson. Ch. 2.
3. ↑  Brown, P. F. Desouza, P. V. Mercer, R. L. Pietra, V. J. D. & Lai, J. C. (1992). Class-based n-gram models of natural language. *Computational linguistics*, 18(4), 467-479.
4. ↑  Jurafsky, D. & Martin, J. H. (2021). *Speech and Language Processing*. Stanford University. Ch. 3.
5. ↑  Millington, I. (2019). *AI for Games*. CRC Press. p. 582-584.
6. ↑  Liu, E. K. Y. (2022, October). Low-Resource Neural Machine Translation: A Case Study of Cantonese (PDF). In *Proceedings of the Ninth Workshop on NLP for Similar Languages, Varieties and Dialects* (pp. 28-40).
7. ↑  Snow, D. (2013). Revisiting Ferguson's defining cases of diglossia. *Journal of Multilingual and Multicultural Development*, 34(1), 61-76，有提到 **Classical Chinese**（文言文）。
8. ↑  大語言模型點樣令廣東話走出低資源語言嘅惡咒

文章
--

* （粵文） 大語言模型點樣令廣東話走出低資源語言嘅惡咒，講到用大型語言模型生成語料，有助粵語脫離低資源語言嘅困局。
* （英文） Cho, W. I. Moon, S. & Song, Y. (2020). Open Korean corpora: A practical report. arXiv preprint arXiv:2012.15621，韓國話都被指係語言資源唔係好夠用。
* （英文） Magueresse, A. Carles, V. & Heetderks, E. (2020). *Low-resource languages: A review of past work and future challenges*，呢篇綜述文大致上噉睇勻當時有關「低資源語言要點幫佢哋攞多啲語言資源」嘅研究。
* （英文） Ragni, A. Knill, K. M. Rath, S. P. & Gales, M. J. (2014, September). Data augmentation for low resource languages. In *INTERSPEECH 2014: 15th Annual Conference of the International Speech Communication Association* (pp. 810-814). International Speech Communication Association (ISCA)，呢篇文講到一啲應付「隻語言唔夠語言資源」嘅技巧。


| * 睇
* 傾
* 改
自然語言處理（NLP） |
| --- |
| 教 AI 處理自然語言嘅技術 |
| 語言數據 | 
* 語言資源
* 語料庫（口語語料庫 · Treebank · PropBank（英文：PropBank））
* 詞庫資源
* 機械可讀字典
* 受控詞表
* 索引典

* 語言模型（大型語言模型）
* 語義網絡（WordNet · BabelNet · 語義相似度網絡）
* 對等字詞
* 普世依賴項

 |  |
| 字句層次 | 

|  |  |
| --- | --- |
| 文字分割 | 
* 字切割
* 句子切割
* 記號化
* 詞法分析
* 淺度解析同分析樹

 |
| 
* N-gram（2-gram · 3-gram）
* 詞形還原
* 字幹提取
* 命名實體識別
* 合成詞處理
* 語言辨認

* 停用詞
* 詞性標注
* 字袋模型
* 搭配詞抽取
* Regex
* 解析
* Tf-idf
* Truecasing

 |

 |
| 語義層次 | 

|  |
| --- |
| 
* 詞義消歧同詞義歸納
* 語義角色標籤
* 指代解決
* 情感分析
* 自然語言理解
* 本體學習

* 自動總結（句子提取 · 文字簡化 · 多文件總結）
* 主題模型（文檔分類）
* 概念探勘
* 文本蘊涵

 |
| 分佈語義 | 
* 語義距離
* 文件詞彙矩陣
* 外顯同潛在語義分析
* 字嵌入
* Word2vec

 |

 |
| 機械翻譯 | 
* 翻譯器
* 例子為本、規則為本同統計
* 轉移為本
* 神經為本

 |
| 用家介面 | 
* 聲用家介面
* 傾偈機械人
* 問答系統
* 虛擬助理
* 互動式小說

 |
| 第啲應用 | 
* 資訊提取同抽取（詞彙抽取）
* 電腦輔助評閱（拼寫檢查 · 文法檢查 · 自動評分）
* 反垃圾電郵技術
* 網頁刮料

* 自動資料收集（語音識別同分割 · 光學字符識別）
* 語音合成
* 自然語言生成
* 文本探勘同遙距閱讀
* 提示工程

 |
| 相關技術 | 
* 自然語言工具箱
* spaCy
* DBpedia
* ROUGE
* 語義網
* 機械學習同 AI 完全
* 字串搜尋
* 困惑度
* ChatGPT
* 速記

 |
| 相關領域 | 
* 語言學（語料庫語言學同運算語言學）
* 圖書館學同資訊科學
* 數碼人文學
* 文獻計量學
* 市場學
* 心理測量學

 |
| NLP 類 |