Mô hình ngôn ngữ

Một mô hình ngôn ngữ là mô hình xác suất của một ngôn ngữ tự nhiên có thể tạo ra xác suất của một chuỗi từ, dựa trên ngữ liệu văn bản trong một hoặc nhiều ngôn ngữ mà nó được đào tạo. Năm 1980, mô hình ngôn ngữ thống kê đầu tiên được đề xuất, và trong suốt thập kỷ IBM thực hiện các thử nghiệm theo phong cách 'Shannon', trong đó nhận diện các nguồn tiềm năng để cải thiện mô hình ngôn ngữ thông qua việc quan sát và phân tích khả năng của con người trong việc dự đoán hoặc sửa chữa văn bản.

Mô hình ngôn ngữ hữu ích cho nhiều tác vụ, bao gồm nhận dạng tiếng nóiKuhn, Roland, and Renato De Mori (1990). "A cache-based natural language model for speech recognition". IEEE transactions on pattern analysis and machine intelligence 12.6: 570–583. (giúp ngăn chặn dự đoán chuỗi có xác suất thấp (ví dụ: chuỗi không có ý nghĩa)), dịch tự động,Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). "Semantic parsing as machine translation" . Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). sinh ngôn ngữ tự nhiên, nhận dạng ký tự quang học, nhận dạng chữ viết tay,Pham, Vu, et al (2014). "Dropout improves recurrent neural networks for handwriting recognition" . 14th International Conference on Frontiers in Handwriting Recognition. IEEE. và truy hồi thông tin.

Mô hình ngôn ngữ, hiện tại là hình thức tiên tiến nhất, kết hợp giữa các bộ dữ liệu lớn hơn (thường sử dụng dữ liệu từ internet công khai), mạng thần kinh truyền thẳng, và transformer. Chúng đã thay thế các mô hình dựa trên mạng thần kinh hồi quy, trước đó đã thay thế các mô hình thống kê thuần túy, như mô hình N-gram.

Chú thích