Reinforcement Learning & Autonomous Systems

Trong học có giám sát, mô hình học từ dữ liệu đã được gán nhãn sẵn (ví dụ: ảnh con mèo được gán nhãn "mèo"). Trong học tăng cường, tác giả (agent) không có câu trả lời đúng cho trước. Nó phải tự khám phá môi trường, thực hiện hành động và học hỏi từ "phần thưởng" hoặc "hình phạt" nhận được để tối đa hóa phần thưởng tích lũy theo thời gian.

Nhiều hệ thống RL, đặc biệt là trong robotics hay xe tự lái, quá nguy hiểm hoặc tốn kém để huấn luyện trực tiếp trong thế giới thực. Môi trường mô phỏng cho phép tác giả "thất bại" hàng triệu lần một cách an toàn và nhanh chóng, giúp nó học được các chiến lược hiệu quả trước khi triển khai ra thực tế.

Đây là một sự đánh đổi cốt lõi trong RL. "Khai thác" (exploitation) có nghĩa là tác tử thực hiện hành động mà nó biết là sẽ mang lại phần thưởng tốt nhất dựa trên kinh nghiệm hiện tại. "Khám phá" (exploration) có nghĩa là tác tử thử các hành động mới, có thể không tối ưu ở hiện tại, để tìm ra những phần thưởng tiềm năng lớn hơn trong tương lai. Cân bằng giữa hai yếu tố này là rất quan trọng để học được chính sách tối ưu.

Q-learning là một thuật toán RL "off-policy" và "model-free". Nó học một hàm giá trị hành động (gọi là Q-function) để ước tính phần thưởng kỳ vọng khi thực hiện một hành động cụ thể tại một trạng thái nhất định. Tác tử sau đó chỉ cần chọn hành động có giá trị Q cao nhất ở mỗi trạng thái.

Các phương pháp "Model-free" (như Q-learning, Policy Gradient) học trực tiếp một chính sách hoặc một hàm giá trị mà không cần xây dựng một mô hình đầy đủ về môi trường. Các phương pháp "Model-based" cố gắng học một mô hình của môi trường (tức là học cách môi trường phản ứng với các hành động), sau đó sử dụng mô hình đó để lập kế hoạch.

Không giống như Q-learning học giá trị của hành động, các phương pháp Policy Gradient học trực tiếp một chính sách (policy), tức là một hàm ánh xạ từ trạng thái sang hành động. Chúng điều chỉnh các tham số của chính sách theo hướng làm tăng xác suất của các hành động dẫn đến phần thưởng cao.

Các phương pháp Actor-Critic kết hợp những điểm mạnh của cả hai phương pháp Policy Gradient và Q-learning. "Actor" (diễn viên) là một chính sách quyết định hành động nào cần thực hiện. "Critic" (nhà phê bình) là một hàm giá trị đánh giá hành động đó tốt như thế nào. Critic cung cấp phản hồi cho Actor, giúp nó cập nhật chính sách một cách hiệu quả hơn.

OpenAI Gym là một bộ công cụ (toolkit) cung cấp một loạt các môi trường mô phỏng tiêu chuẩn (từ các bài toán kinh điển như cân bằng con lắc đến các trò chơi Atari). Nó cung cấp một giao diện chung để phát triển và so sánh các thuật toán RL, đã trở thành một tiêu chuẩn trong nghiên cứu RL.

RL có rất nhiều ứng dụng: tối ưu hóa các chiến dịch marketing, quản lý danh mục đầu tư tài chính, điều khiển các phản ứng hóa học, đề xuất sản phẩm cho người dùng trong e-commerce, và tối ưu hóa hoạt động của các trung tâm dữ liệu để tiết kiệm năng lượng.

Một hàm thưởng tốt phải phản ánh chính xác mục tiêu cuối cùng của tác vụ. Nếu hàm thưởng được thiết kế sơ sài, tác tử có thể "hack" nó bằng cách tìm ra những hành vi không mong muốn nhưng vẫn tối đa hóa được phần thưởng. Ví dụ, một robot dọn dẹp được thưởng vì thu thập rác có thể học cách đổ rác ra để thu thập lại. Thiết kế hàm thưởng là một trong những phần khó và quan trọng nhất của RL.