词袋模型

在自然語言處理和信息檢索裏，词袋模型（）是一個簡化的表達模型。在此模型下，一段文本（比如一个句子或是一个文档）可以用一個装着这些词的袋子来表示，這種表示方式不考慮文法以及詞的順序。最近词袋模型也被應用在電腦視覺領域。

词袋模型被廣泛應用在文件分類，詞語出現的頻率可以用來當作訓練分類器的特徵。

關於「词袋」這個用字的由來可追溯到於1954年在《Distributional Structure》的文章''。

範例 
下列文件可用词袋表示:

以下是兩個簡單的文件:
(1) John likes to watch movies. Mary likes movies too.

(2) John also likes to watch football games.

基於以上兩個文件，可以建構出下列清單:
[
    "John",
    "likes",
    "to",
    "watch",
    "movies",
    "also",
    "football",
    "games",
    "Mary",
    "too"
]
此處有10個不同的詞，使用清單的索引表示長度為10的向量:
 (1) [1, 2, 1, 1, 2, 0, 0, 0, 1, 1] (2) [1, 1, 1, 1, 0, 1, 1, 1, 0, 0] 
每個向量的索引內容對應到清單中詞出現的次數。

舉例來說，第一個向量（文件一）前兩個內容索引是1和2，第一個索引內容是"John"對應到清單第一個詞並且該值設定為1，因為"John"出現一次。

此向量表示法不會保存原始句子中詞的順序。該表示法有許多成功的應用，像是郵件過濾。

Term weighting 
在上述的範例，文件向量包含term頻率。

在信息檢索和文字分類常用不同方法量term權重。常見方法為tf-idf。

範例：垃圾郵件過濾 
分類一個郵件訊息，一個貝氏垃圾郵件分類假設訊息是一堆字並且隨機倒在兩堆袋子其中一個袋子裡，之後使用貝氏機率去決定哪個「袋子」（「垃圾郵件袋子」還是「正常郵件袋子」）是較有可能的。

参考文献

參見 

 
 n元语法
 向量空間模型
 自然語言處理
 
 文件分類
 機器學習
 
 
 最小哈希
 特徵擷取

自然語言處理
机器学习