Big Data Processing & Machine Learning Applications

Big Data thường được định nghĩa bởi 3 chữ V (và sau này mở rộng thêm): Volume (Khối lượng lớn), Velocity (Tốc độ cao, dữ liệu được tạo ra liên tục), và Variety (Sự đa dạng, từ dữ liệu có cấu trúc đến phi cấu trúc như văn bản, hình ảnh).

Hadoop (cụ thể là MapReduce) xử lý dữ liệu trên đĩa, làm cho nó chậm hơn nhưng phù hợp cho các tác vụ xử lý hàng loạt (batch processing) rất lớn. Spark xử lý dữ liệu trong bộ nhớ (in-memory), giúp nó nhanh hơn đáng kể và linh hoạt hơn cho cả xử lý hàng loạt và phân tích tương tác.

Deep Learning là một nhánh của Machine Learning sử dụng các mạng nơ-ron nhân tạo có nhiều lớp (do đó có từ "sâu"). Nó đặc biệt mạnh trong việc tự động học các tính năng phức tạp từ dữ liệu phi cấu trúc như hình ảnh, âm thanh, văn bản, trong khi Machine Learning truyền thống thường cần bước "feature engineering" thủ công.

Đây là hai framework mã nguồn mở phổ biến nhất để xây dựng và huấn luyện các mô hình Deep Learning. TensorFlow (phát triển bởi Google) mạnh về khả năng triển khai sản phẩm và hệ sinh thái. PyTorch (phát triển bởi Facebook) được yêu thích trong cộng đồng nghiên cứu vì tính linh hoạt và dễ sử dụng.

MLOps là tập hợp các thực hành nhằm mục đích triển khai và duy trì các mô hình học máy trong môi trường sản phẩm một cách đáng tin cậy và hiệu quả. Nó kết hợp Machine Learning, DevOps và Kỹ thuật dữ liệu, bao gồm các khía cạnh như tự động hóa, giám sát và quản lý vòng đời mô hình.

Hệ thống gợi ý sản phẩm của Amazon là một ví dụ điển hình. Nó phân tích lịch sử mua sắm và hành vi duyệt web của hàng triệu người dùng (Big Data) để xây dựng các mô hình Machine Learning dự đoán những sản phẩm bạn có thể quan tâm và hiển thị chúng cho bạn trong thời gian thực.

Docker cho phép bạn "đóng gói" mô hình của mình cùng với tất cả các thư viện và môi trường cần thiết vào một "container" duy nhất. Điều này đảm bảo rằng mô hình sẽ chạy nhất quán trên mọi môi trường, từ máy tính của nhà phát triển đến máy chủ sản phẩm, giải quyết vấn đề "nó chạy trên máy của tôi mà!".

Đây là việc xử lý dữ liệu ngay khi nó được tạo ra, trong thời gian thực, thay vì chờ đợi để xử lý theo lô. Nó rất quan trọng cho các ứng dụng cần phản ứng tức thì, chẳng hạn như phát hiện gian lận thẻ tín dụng hoặc phân tích dữ liệu từ cảm biến IoT.

Khi một tập dữ liệu quá lớn để chứa hoặc xử lý trên một máy tính duy nhất, chúng ta cần phải chia nhỏ dữ liệu và công việc xử lý ra nhiều máy tính (một cụm - cluster). Các hệ thống như Spark cung cấp một framework để quản lý và điều phối công việc phức tạp này một cách tự động.

Đây là một loại hình học máy trong đó một "tác nhân" (agent) học cách hành động trong một môi trường để tối đa hóa phần thưởng. Nó không học từ dữ liệu được gán nhãn mà học thông qua thử và sai. Đây là công nghệ đằng sau các AI chơi game như AlphaGo hay xe tự lái.