Deep Learning & Neural Network Architectures

Machine Learning truyền thống thường yêu cầu kỹ sư phải thực hiện "feature engineering" (trích xuất đặc trưng) thủ công. Ngược lại, Deep Learning, với kiến trúc mạng neural đa lớp, có khả năng tự động học các đặc trưng phức tạp trực tiếp từ dữ liệu thô (như hình ảnh, văn bản), giúp giải quyết các bài toán phức tạp hơn.

Việc huấn luyện mô hình Deep Learning đòi hỏi một lượng lớn các phép tính ma trận song song. GPU (Graphics Processing Unit) được thiết kế với hàng nghìn nhân xử lý, cho phép thực hiện các phép tính này nhanh hơn CPU hàng chục đến hàng trăm lần, từ đó rút ngắn đáng kể thời gian huấn luyện.

CNN được thiết kế đặc biệt cho dữ liệu dạng lưới như hình ảnh. Nó sử dụng các bộ lọc (kernels) để trượt qua ảnh và học các đặc trưng cục bộ như cạnh, góc, và các họa tiết. Các lớp sau đó kết hợp các đặc trưng đơn giản này thành các đặc trưng phức tạp hơn, như mắt, mũi, hoặc toàn bộ khuôn mặt.

RNN được thiết kế để xử lý dữ liệu dạng chuỗi (sequential data) như văn bản, chuỗi thời gian, hoặc giọng nói. Chúng có một "bộ nhớ" nội tại cho phép thông tin từ các bước thời gian trước đó ảnh hưởng đến đầu ra ở bước hiện tại, giúp mô hình hiểu được ngữ cảnh.

Transformer là một kiến trúc mạng neural được giới thiệu vào năm 2017, hoàn toàn dựa vào cơ chế "chú ý" (attention mechanism). Nó có khả năng xử lý các mối quan hệ xa trong dữ liệu chuỗi một cách hiệu quả và song song hóa quá trình tính toán, vượt qua những hạn chế của RNN. Đây là nền tảng của hầu hết các mô hình ngôn ngữ lớn hiện đại như GPT và BERT.

Overfitting xảy ra khi mô hình học quá tốt trên dữ liệu huấn luyện, bao gồm cả nhiễu, và do đó hoạt động kém trên dữ liệu mới. Các kỹ thuật để giảm overfitting bao gồm: thêm dữ liệu, tăng cường dữ liệu (data augmentation), sử dụng các kỹ thuật điều chuẩn (regularization) như L1/L2, và dropout.

Transfer Learning là một kỹ thuật trong đó một mô hình đã được huấn luyện trên một tác vụ lớn (ví dụ: phân loại hàng triệu ảnh trên ImageNet) được tái sử dụng làm điểm khởi đầu để huấn luyện cho một tác vụ khác nhưng có liên quan. Kỹ thuật này giúp tiết kiệm đáng kể thời gian và tài nguyên tính toán, đặc biệt khi dữ liệu cho tác vụ mới bị hạn chế.

Hyperparameters là các tham số cấu hình của mô hình được đặt trước khi quá trình huấn luyện bắt đầu (ví dụ: tốc độ học, số lớp, số nơ-ron mỗi lớp). Hyperparameter tuning là quá trình tìm kiếm bộ giá trị tốt nhất cho các tham số này để tối đa hóa hiệu suất của mô hình.

Cả hai đều là các thư viện deep learning mã nguồn mở hàng đầu. PyTorch được biết đến với tính linh hoạt, giao diện "Pythonic" và đồ thị tính toán động, rất phổ biến trong giới nghiên cứu. TensorFlow (đặc biệt với Keras API) mạnh mẽ về khả năng triển khai sản phẩm (deployment) và có một hệ sinh thái công cụ hỗ trợ rộng lớn.

Gradient Descent là một thuật toán tối ưu hóa dùng để tìm giá trị cực tiểu của một hàm. Trong deep learning, nó được dùng để giảm thiểu hàm mất mát (loss function). Thuật toán tính toán gradient (đạo hàm) của hàm mất mát theo các trọng số của mạng, sau đó cập nhật các trọng số theo hướng ngược lại của gradient để từ từ "đi xuống dốc" đến điểm có sai số thấp nhất.