Q-learning (học tăng cường)

Q -learning là một thuật toán học tăng cường không mô hình. Mục tiêu của Q-learning là học một chính sách, chính sách cho biết máy sẽ thực hiện hành động nào trong hoàn cảnh nào. Nó không yêu cầu một mô hình (do đó hàm ý "không mô hình") của môi trường và nó có thể xử lý các vấn đề với chuyển đổi và phần thưởng ngẫu nhiên, mà không cần điều chỉnh."
Đối với bất kỳ quá trình quyết định Markov hữu hạn (QTQDMKHH) nào, Q -learning tìm một chính sách tối ưu theo nghĩa là nó tối đa hóa giá trị mong đợi của tổng số phần thưởng trên bất kỳ và tất cả các bước tiếp theo, bắt đầu từ trạng thái hiện tại. Q -learning có thể xác định một chính sách lựa chọn hành động tối ưu cho bất kỳ QTQDMKHH cụ thể nào, với thời gian thăm dò vô hạn và chính sách một phần ngẫu nhiên. "Q" đặt tên theo tên hàm phần thưởng trả về, được sử dụng để cải thiện hoạt động và có thể nói là đại diện cho "chất lượng" của một hành động được thực hiện trong một trạng thái nhất định.

Tỷ lệ học

Tỷ lệ học  hoặc kích thước bước xác định mức độ thông tin mới thu được sẽ ghi đè thông tin cũ. Hệ số 0 làm cho tác nhân không học được gì (chỉ khai thác kiến thức trước), trong khi hệ số 1 khiến tác nhân chỉ xem xét thông tin gần đây nhất (bỏ qua kiến thức trước để khám phá các khả năng). Trong môi trường hoàn toàn xác định, tỷ lệ học tập của    là tối ưu. Khi vấn đề là ngẫu nhiên, thuật toán hội tụ trong một số điều kiện kỹ thuật về tốc độ học tập yêu cầu nó giảm xuống không. Trong thực tế, thường sử dụng một tỷ lệ học tập liên tục, chẳng hạn như  cho tất cả  .

Hệ số chiết khấu

Hệ số chiết khấu     xác định tầm quan trọng của phần thưởng trong tương lai. Hệ số 0 sẽ khiến tác nhân "cận thị" (hay thiển cận) bằng cách chỉ xem xét các phần thưởng hiện tại, tức là    (trong quy tắc cập nhật ở trên), trong khi một yếu tố tiếp cận 1 sẽ khiến nó phấn đấu để nhận phần thưởng cao dài hạn. Nếu hệ số chiết khấu bằng hoặc vượt quá 1, các giá trị hành động có thể phân kỳ. Dành cho   , không có trạng thái cuối, hoặc nếu tác nhân không bao giờ đạt tới một, tất cả lịch sử môi trường trở nên dài vô tận và các tiện ích với phần thưởng phụ gia, không được tiết lộ thường trở thành vô hạn. Ngay cả với hệ số chiết khấu chỉ thấp hơn 1 chút, việc học theo chức năng Q dẫn đến việc lan truyền các lỗi và sự không ổn định khi hàm giá trị được xấp xỉ với mạng nơ ron nhân tạo. Trong trường hợp đó, bắt đầu với hệ số chiết khấu thấp hơn và tăng nó theo giá trị cuối cùng sẽ đẩy nhanh quá trình học tập.

Điều kiện ban đầu (Q0)

Vì Q -learning là một thuật toán lặp, nó mặc nhiên thừa nhận một điều kiện ban đầu trước khi cập nhật đầu tiên xảy ra. Giá trị ban đầu cao, còn được gọi là "điều kiện ban đầu lạc quan", có thể khuyến khích thăm dò: bất kể hành động nào được chọn, quy tắc cập nhật sẽ khiến nó có giá trị thấp hơn so với phương án khác, do đó tăng xác suất lựa chọn của chúng. Phần thưởng đầu tiên có thể được sử dụng để thiết lập lại các điều kiện ban đầu. Theo ý tưởng này, lần đầu tiên một hành động được thực hiện phần thưởng được sử dụng để đặt giá trị của . Điều này cho phép học ngay lập tức trong trường hợp phần thưởng xác định cố định. Một mô hình kết hợp thiết lập lại các điều kiện ban đầu (RIC) dự kiến sẽ dự đoán hành vi của người tham gia tốt hơn một mô hình giả định bất kỳ điều kiện ban đầu tùy ý (AIC). RIC dường như phù hợp với hành vi của con người trong các thí nghiệm lựa chọn nhị phân lặp đi lặp lại.

Thực hiện

Q -learning tại đơn giản nhất lưu trữ dữ liệu trong bảng. Cách tiếp cận này chùn bước với số lượng trạng thái / hành động ngày càng tăng.

Xấp xỉ hàm

Q -learning có thể được kết hợp với xấp xỉ hàm. Điều này cho phép áp dụng thuật toán cho các vấn đề lớn hơn, ngay cả khi không gian trạng thái liên tục.
Một giải pháp là sử dụng một mạng nơ ron nhân tạo (thích nghi) như một hàm xấp xỉ hàm. Xấp xỉ hàm có thể tăng tốc độ học tập trong các vấn đề hữu hạn, do thực tế là thuật toán có thể khái quát hóa các kinh nghiệm trước đó cho các trạng thái chưa từng thấy trước đây.

Lượng tử hóa

Một kỹ thuật khác để giảm không gian trạng thái / hành động định lượng các giá trị có thể. Hãy xem xét ví dụ về việc học cách cân bằng một cây gậy trên ngón tay. Để mô tả trạng thái tại một thời điểm nhất định liên quan đến vị trí của ngón tay trong không gian, vận tốc của nó, góc của thanh và vận tốc góc của thanh. Điều này mang lại một vectơ bốn phần tử mô tả một trạng thái, tức là ảnh chụp nhanh của một trạng thái được mã hóa thành bốn giá trị. Vấn đề là vô số trạng thái có thể có mặt. Để thu hẹp không gian có thể của các hành động hợp lệ, nhiều giá trị có thể được gán cho một nhóm. Khoảng cách chính xác của ngón tay từ vị trí bắt đầu của nó (- vô cực đến + vô cực) không được biết, mà là nó có ở xa hay không (Gần, Xa).

Q-learning sâu

Hệ thống DeepMind đã sử dụng một mạng lưới thần kinh tích chập sâu, với các lớp bộ lọc tích chập để mô phỏng các hiệu ứng của các lĩnh vực tiếp nhận. Học tăng cường không ổn định hoặc phân kỳ khi xấp xỉ hàm phi tuyến như mạng nơ ron được sử dụng để biểu diễn Q. Sự không ổn định này xuất phát từ các tương quan có trong chuỗi các quan sát, thực tế là các cập nhật nhỏ cho Q có thể thay đổi đáng kể chính sách và dữ liệu phân phối và mối tương quan giữa Q và các giá trị đích.
Kỹ thuật sử dụng phát lại kinh nghiệm, một cơ chế lấy cảm hứng từ sinh học sử dụng một mẫu ngẫu nhiên các hành động trước thay vì hành động gần đây nhất để tiến hành. Điều này loại bỏ các mối tương quan trong chuỗi quan sát và làm mịn các thay đổi trong phân phối dữ liệu. Cập nhật lặp điều chỉnh Q theo các giá trị đích chỉ được cập nhật định kỳ,  giảm hơn nữa tương quan với mục tiêu.

Khác

Q-learning bị trì hoãn là một triển khai thay thế của thuật toán Q -learning trực tuyến, với việc  học đúng xấp xỉ với xác suất cao (PAC).
GQ tham lam là một biến thể của Q -learning để sử dụng kết hợp với xấp xỉ hàm (tuyến tính). Ưu điểm của GQ tham lam là sự hội tụ được đảm bảo ngay cả khi sử dụng xấp xỉ hàm để ước tính các giá trị hành động.