NLP Course

0. Cài đặt

1. Mô hình Transformer

2. Sử dụng 🤗 Transformers

3. Tinh chỉnh một mô hình huấn luyện trước

4. Chia sẻ các mô hình và tokenizer

5. Thư viện 🤗 Datasets

6. Thư viện 🤗 Tokenizers

7. Các tác vụ NLP chính

Giới thiệu Phân loại token Tinh chỉnh một mô hình ngôn ngữ bị ẩn đi Dịch máy Tóm tắt Huấn luyện một mô hình ngôn ngữ nhân quả từ đầu Hỏi đáp Làm chủ NLP Đố vui cuối chương

8. Làm thế nào để yêu cầu giúp đỡ

9. Xây dựng và chia sẻ các demo new

Sự kiện Khoá học

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Đố vui cuối chương

Cùng kiểm tra xem bạn đã học được những gì trong chương này!

1. Tác vụ nào sau đây có thể được coi là vấn đề phân loại token?

Tìm các thành phần ngữ pháp trong một câu. Tìm xem một câu có đúng ngữ pháp hay không. Tìm thực thể người được đề cập trong một câu. Tìm đoạn từ trong một câu trả lời cho một câu hỏi.

2. Phần tiền xử lý để phân loại token khác với các pipeline tiền xử lý khác ở điểm nào?

Không cần phải làm gì cả; các văn bản đã được tokenize Các văn bản được cung cấp dưới dạng từ, vì vậy chúng ta chỉ cần áp dụng tokenize từ phụ. Ta sử dụng -100 để đánh nhãn các token đặc biệt. Chúng ta cần đảm bảo cắt bớt hoặc đệm các nhãn có cùng kích thước với các đầu vào khi áp dụng phép cắt bớt/đệm.

3. Vấn đề gì phát sinh khi ta tokenize các từ trong bài toán phân loại token và muốn đánh nhãn token?

Trình tokenizer thêm các kí tự token đặc biệt và ta không có nhãn cho chúng. Mỗi từ có thể tạo ra nhiều token, nên đến cuối ta sẽ có nhiều token hơn số nhãn. Các token được thêm không có nhãn, nên không có vấn đề gì.

4. “Thích ứng chuyên môn” là gì?

Đó là khi chúng ta chạy một mô hình trên tập dữ liệu và nhận các dự đoán cho từng mẫu trong tập dữ liệu đó. Đó là khi chúng ta huấn luyện một mô hình trên tập dữ liệu. Đó là khi chúng ta tinh chỉnh một mô hình được huấn luyện trước trên một tập dữ liệu mới và nó đưa ra các dự đoán phù hợp hơn với tập dữ liệu đó Đó là khi chúng ta thêm các mẫu bị phân loại sai vào tập dữ liệu để làm cho mô hình mạnh mẽ hơn.

5. Các nhãn trong bài toán mô hình ngôn ngữ bị ẩn đi là gì?

Một số token đầu vào bị che ngẫu nhiên và nhãn là các token đầu vào ban đầu. Một số token đầu vào bị che ngẫu nhiên và nhãn là các token đầu vào ban đầu, được dịch sang bên trái. Một số token đầu vào bị che ngẫu nhiên và nhãn là các câu phủ định hay khẳng định. Một số token trong hai câu đầu vào bị che đi ngẫu nhiên, và nhãn là hai câu đó có giống nhau hay không.

6. Tác vụ nào sau đây có thể được coi là bài toán chuỗi sang chuỗi?

Viết đánh giá ngắn về tài liệu dài Trả lời câu hỏi về một tài liệu Dịch một văn bản bằng tiếng Trung sang tiếng Anh Sửa các tin nhắn do cháu trai/ bạn tôi gửi để chúng được viết bằng tiếng Anh chuẩn

7. Đây là phuwong pháp phù hợp để tiền xử lý dữ liệu cho bài toán chuỗi sang chuỗi?

Đầu vào và nhãn phải được gửi cùng nhau tới tokenizer qua inputs=... và targets=.... Đầu vào và nhãn đều phải được tiền xử lý, trong hai lệch gọi riêng biệt tới tokenizer. Như thường lệ, chúng ta chỉ phhải tokenize đầu vào. Đầu vào phải đước gửi tới trình tokenizer, và nhãn cũng vậy, nhưng theo trình quản lý ngữ cảnh đặc biệt.

8. Vì sao lại có lớp con Trainer cho các bài toán chuỗi sang chuỗi?

Vì các vấn đề chuỗi sang chuỗi sử dụng một hàm mất mát tuỳ chỉnh để bỏ qua tập hợp nhãn -100 Vì các vấn đề chuỗi sang chuỗi cần một vòng đánh giá đặc biệt Bởi vì nhãn là văn bản trong bài toán chuỗi sang chuỗi Vì ta sử dụng hai mô hình trong bài toán chuỗi sang chuỗi

10. Khi nào bạn nên huấn luyện trước một mô hình mới?

Khi không có mô hình huấn luyện sẵn cho ngôn ngữ của bạn Khi bạn có rất nhiều dữ liệu có sẵn, ngay cả khi đã có một mô hình huấn luyện trước có thể hoạt động trên đó Khi bạn lăn tăn về sự sai lệch của mô hình huấn luyện trước bạn sử dụng Khi các mô hình huấn luyện trước có sẵn không đủ tốt

11. Vì sao ta dễ huấn luyện trước một mô hình ngôn ngữ khi có khối lượng văn bản khổng lồ?

Vì có rất nhiều dữ liệu văn bản có sẵn trên mạng Vì mục đích huấn luyện trước không cần con người gán nhãn dữ liệu the pretraining objective does not require humans to label the data Vì thư viện 🤗 Transformers chỉ yêu cầu một vài dòng mã để bắt đầu huấn luyện

12. Đâu là những thách thức chính khi tiền xử lí dữ liệu cho tác vụ hỏi đáp?

Bạn cần tokenize đầu vào. Bạn cần xử lý chuỗi ngữ cảnh dài nhận nhiều đặc trưng huấn luyện có thể chứa đáp án bên trong hoặc không. Bạn cần tokenize câu trả lời của câu hỏi cũng như đầu vào. Từ mảng câu trả lời trong văn bản, bạn phải tìm ra token bắt đầu và kết thúc trong đầu vào đã được tokenize.

13. Làm thể nào để hậu xử lý trong bài toán hỏi đáp?

Mô hình cung cấp cho bạn vị trí bắt đầu và kết thúc của câu trả lời và bạn chỉ cần giải mã khoảng token tương ứng.. Mô hình cung cấp cho bạn vị trí bắt đầu và kết thúc của câu trả lời cho mỗi đặc trưng được tạo bởi một mẫu và bạn chỉ cần giải mã khoảng token tương ứng của cái có điểm tốt nhất. Mô hình cung cấp cho bạn vị trí bắt đầu và kết thúc của câu trả lời cho mỗi đặc trưng được tạo bởi một mẫu và bạn chỉ cần đối sánh chúng với khoảng trong ngữ cảnh của cái có điểm tốt nhất. Mô hình tạo ra một câu trả lời và bạn chỉ cần giải mã nó.

←Làm chủ NLP

Next chapter

Đố vui cuối chương 1. Tác vụ nào sau đây có thể được coi là vấn đề phân loại token? 2. Phần tiền xử lý để phân loại token khác với các pipeline tiền xử lý khác ở điểm nào? 3. Vấn đề gì phát sinh khi ta tokenize các từ trong bài toán phân loại token và muốn đánh nhãn token? 4. “Thích ứng chuyên môn” là gì? 5. Các nhãn trong bài toán mô hình ngôn ngữ bị ẩn đi là gì? 6. Tác vụ nào sau đây có thể được coi là bài toán chuỗi sang chuỗi? 7. Đây là phuwong pháp phù hợp để tiền xử lý dữ liệu cho bài toán chuỗi sang chuỗi? 8. Vì sao lại có lớp con Trainer cho các bài toán chuỗi sang chuỗi? 9. Vì sao không cần thiết chỉ định hàm mất mát khi gọi compile() trong mô hình Transformer? 10. Khi nào bạn nên huấn luyện trước một mô hình mới? 11. Vì sao ta dễ huấn luyện trước một mô hình ngôn ngữ khi có khối lượng văn bản khổng lồ? 12. Đâu là những thách thức chính khi tiền xử lí dữ liệu cho tác vụ hỏi đáp? 13. Làm thể nào để hậu xử lý trong bài toán hỏi đáp?