Mô hình phân biệt

Mô hình phân biệt (tiếng Anh: discriminative model, conditional model) là lớp các mô hình logistic dùng cho phân loại bằng thống kê hay hồi quy. Chúng phân biệt ranh giới quyết định thông qua dữ liệu quan sát được, chẳng hạn như đạt/không đạt, thắng/thua, sống/chết hoặc khỏe mạnh/bệnh tật.
Các mô hình phân biệt điển hình bao gồm hồi quy logistic (LR), formula_1 hàng xóm gần nhất, SVM, các trường điều kiện ngẫu nhiên (CRF) (được chỉ định trên một biểu đồ vô hướng), cây quyết định, và nhiều thứ khác. 
Có một loại mô hình khác, đó là mô hình sinh (generative models). Các cách tiếp cận mô hình tạo sinh điển hình bao gồm các phân lớp Naive Bayes, các mô hình hỗn hợp Gauss, bộ mã hóa biến phân ("variational autoencoders") và nhiều cái khác.
Định nghĩa.
Khác với mô hình hóa tạo sinh, nghiên cứu phân phối xác suất đồng thời formula_2, mô hình phân biệt nghiên cứu formula_3 hoặc các ánh xạ trực tiếp biến không được quan sát đã cho (mục tiêu) formula_4 đến một lớp nhãn formula_5 tùy theo các biến quan sát (các mẫu huấn luyện). Ví dụ, trong nhận diện đối tượng ngoại lai (outline of object recognition), formula_4 giống như là một véctơ các pixel thô (hoặc các đặc tính được trích xuất từ các pixel thô của hình ảnh). Bên trong một khung xác suất, điều này được thực hiện bằng cách mô hình hóa phân phối xác suất có điều kiện (conditional probability distribution) formula_3, có thể được sử dụng để dự đoán formula_5 từ formula_4. Chú ý rằng vẫn có sự khác biệt giữa mô hình có điều kiện và mô hình phân biệt, mặc dù chúng thường được phân loại một cách đơn giản là mô hình phân biệt.
Mô hình phân biệt thuần túy so với mô hình có điều kiện.
Một "mô hình điều kiện" mô hình phân phối xác suất điều kiện, trong khi đó mô hình phân biệt truyền thống nhắm đến việc tối ưu ánh xạ đầu vào xung quanh các mẫu được đào tạo gần giống nhất.
Một số cách tiếp cận mô hình phân biệt đối xử điển hình.
Cách tiếp cận sau dựa trên giả định rằng nó được cung cấp tập dữ liệu huấn luyện formula_10, theo đó formula_11 là đầu ra tương ứng với đầu vào formula_12.
Bộ phân loại tuyến tính.
Hàm formula_13 được dùng để mô phỏng hành vi quan sát được từ tập huấn luyện theo phương pháp bộ phân loại tuyến tính (linear classifier). Sử dụng vectơ đặc tính hợp nhất formula_14, hàm quyết định được định nghĩa:
Theo diễn dịch Memisevic, formula_16, hay là formula_17, tính toán một điểm số đo lường khả năng tính toán của đầu vào formula_4 với đầu ra tiềm năng formula_5. Sau đó, formula_20 xác định một lớp với điểm số cao nhất.
Hồi quy logistic (LR).
Từ lúc hàm mất mát 0-1 (0-1 loss function) thường được sử dụng trong lý thuyết quyết định, phân phối xác suất có điều kiện formula_21, với formula_22 là tham số véctơ để tối ưu hóa dữ liệu huấn luyện, có thể được cân nhắc lại như sau đối với mô hình hồi quy logistic:
Phương trình trên thể hiện hồi quy logistic (logistic regression). Lưu ý, sự khác biệt chủ yếu giữa các mô hình là cách chúng đưa ra xác suất hậu nghiệm, được suy ra từ mô hình tham số. Sau đó, có thể tối đa hóa tham số bằng phương trình sau:
Nó cũng có thể được thay thế bằng phương trình mất mát log (log loss) như sau:
Khi mất mát log có thể phân biệt được (hay có tính khả vi), một phương pháp dựa trên gradient có thể được sử dụng để tối ưu hóa mô hình. Mức tối ưu toàn cục được đảm bảo vì hàm mục tiêu là hàm lồi. Độ dốc của log likelihood được thể hiện:
với formula_28 là kỳ vọng của formula_29.
Phương pháp trên sẽ cung cấp sự tính toán hiệu quả cho sự phân loại với số lượng tương đối nhỏ.