Kompresi data

Ada hubungan dekat antara pembelajaran mesin dan kompresi: sebuah sistem yang memprediksikan probabilitas posterior dari sebuah deret, dengan diketahuinya seluruh sejarah yang bisa digunakan untuk kompresi data optimal (dengan menggunakan koding aritmatik pada distribusi hasil) saat sebuah kompresor optimal bisa digunakan untuk membuat prediksi (dengan mencari simbol dengan kompresi terbaik, dari sejarah yang diketahui). Persamaan ini sering digunakan sebagain alasan untuk menggunakan kompresi data sebagai patokan untuk "kepintaran umum."