Trường điều kiện ngẫu nhiên

Trường điều kiện ngẫu nhiên (CRFs) là một dạng của Mô hình xác suất  thường được áp dụng cho Dự đoán cấu trúc trong Nhận diện mẫu và Học máy. Một mô hình phân lớp bình thường dự đoán nhãn cho một sample mà không quan tâm đến ngữ cảnh của sample đó (neighboring samples),còn một CRF có thể đưa ngữ cảnh tham gia vào quá trình gán nhãn; Ví dụ mô hình linear chain CRF nổi tiếng trong Xử lý ngôn ngữ tự nhiên dự đoán chuỗi các nhãn cho chuỗi samples đầu vào.

CRFs là một kiểu Mô hình đồ thị vô hướng xác suất. Nó dùng để mã hóa những mối quan hệ của những mẫu quan sát được và xây dựng nên những đặc tả phù hợp. Nó thường dùng để gán nhãn hay phân tích cú pháp  của một chuỗi dữ liệu, giống như những đoạn text bình thường hay chuỗi sinh học
và trong Thị giác máy tính.
Đặc biệt, CRFs có thể ứng dụng trong phân tích cấu trúc câu, nhận diện những thực thể tên trong văn bản, tìm gen và peptide có vai trò quan trọng trong một khu vực tìm kiếm,
trong số ứng dụng khác nó cũng liên quan tới hidden Markov models(HMMs). Trong thị giác máy tính, CRFs thường được dùng để nhận biết đối tượng hoặc phân vùng ảnh.

Mô tả
Lafferty, McCallum và Pereira
Tuy nhiên, vẫn tồn tại trường hợp đặc biệt mà exact inference là khả thi:
Nếu đồ thị là dạng chuỗi hay cây, giải pháp là message passing algorithms.Thuật toán dùng trong trường hợp này giống với thuật toán forward-backward và thuật toán Viterbi trong trường hợp của HMMs.
Nếu CRF chỉ chứa pair-wise potentials và năng lượng là hàm submodular, combinatorial min cut/max flow algorithms là giải thuật.
Exact inference là không thể,nhưng cũng có vài thuật toán có thể dùng để thay thế được. Chúng bao gồm:
Loopy belief propagation
Alpha expansion
Mean field inference
Linear programming relaxations

Học tham số
Khi học tham số \theta ta thường dùng maximum likelihood để học p(Y_i|X_i; \theta). Nếu tất cả các nốt trong đồ thị có phân phối mũ and tất cả đều được quan sát trong quá trình trainning,hàm tối ưu là hàm lồi. Phương pháp này cung cấp nhiều khả năng của higher-order CRFs để mô hình hóa long-range dependencies của với độ phức tạp hợp ly.

Latent-dynamic conditional random field
Latent-dynamic Trường điều kiện ngẫu nhiên (LDCRF) hay discriminative probabilistic latent variable models (DPLVM) cũng là một kiểu CRFs cho bài toán dán nhãn chuỗi.Và là latent variable models được huấn luyện đặc biệt.

Trong LDCRF, giống như sequence tagging, một chuỗi mẫu quan sát đầu vào x = x ₁,... xₙ, vấn đề chính ở đây là làm cách nào để tìm ra chuỗi các nhãn y = y ₁,... yₙ từ tập nhãn Y. Thay vì trực tiếp mô hình hóa P(y|x) như linear-chain CRF,một bộ biến latent h được thêm vào giữa x và y bằng luật chain rule of probability:
:
Nó tìm ra cấu trúc latent giữa mẫu quan sát và nhãn. LDCRFs có thể train bằng quasi-newton, một version đặc biệt của thuật toán perceptron có tên là latent-variable perceptron đã được phát triển, dựa vào thuật toán structured perceptron.
CRFSuite Fast restricted linear-chain CRFs (C)
CRF++ Linear-chain CRFs (C++)
FlexCRFs First-order and second-order Markov CRFs (C++)
crf-chain1 First-order, linear-chain CRFs (Haskell)
imageCRF CRF dùng phân mảnh ảnh và dung lượng (C++)
MALLET Linear-chain dùng phân tích cú pháp câu (Java)
PyStruct Structured Learning bằng Python (Python)
Figaro Một ngôn ngữ lập trình xác suất có thể xây dựng CRFs và mô hình đồ thị khác (Scala)
Dưới đây là một số phần mềm sử dụng CRF.
Conrad CRF  dự đoán gen cơ sở (java)
Stanford NER nhận biết tên vật thể(named entity recognizer) (java)
BANNER nhận biết tên vật thể (java)

Xem thêm
Hammersley–Clifford theorem
Mô hình đồ thị
Trường ngẫu nhiên markov
Mô hình cực đại entropy markov (MEMM)

Tham khảo

Đọc thêm
McCallum, A.: Efficiently inducing features of Trường điều kiện ngẫu nhiên. In: Proc. 19th Conference on Uncertainty in Artificial Intelligence. (2003)
Wallach, H.M.: Trường điều kiện ngẫu nhiên: An introduction. Technical report MS-CIS-04-21, University of Pennsylvania (2004)
Sutton, C., McCallum, A.: An Introduction to Trường điều kiện ngẫu nhiên for Relational Learning. In "Introduction to Statistical Relational Learning". Edited by Lise Getoor and Ben Taskar. MIT Press. (2006) Online PDF
Klinger, R., Tomanek, K.: Classical Probabilistic Models and Trường điều kiện ngẫu nhiên. Algorithm Engineering Report TR07-2-013, Department of Computer Science, Dortmund University of Technology, December 2007. ISSN 1864-4503. Online PDF