字符集探測

字符編碼探測 、 字符集探測又稱爲代碼頁檢測是個啓發式猜測代表文字的一系列字節的字符編碼 。 其算法通常依據對字節樣式的統計分析 。 這並不是一個萬無一失的方法因爲它依賴於統計數據 — — 比如有些Windows版本會誤把ASCII編碼的 " Bush hid the facts " 當作中文UTF - 16LE 。 爲數不多的能可靠探測的情況之一是探測UTF - 8 。 這是因爲UTF - 8中有大量的無效字節序列 ， 所以當其他編碼方式使用字節中的高位bit時極不可能通過UTF - 8有效性測試 。 不幸的是不完善的字符集探測程序不優先進行可靠的UTF - 8測試於是把UTF - 8定爲其他編碼 。