Natural Language Processing & Large Language Models

LLM là một mô hình Deep Learning cực lớn, được huấn luyện trên một kho dữ liệu văn bản khổng lồ. Nhờ đó, nó có khả năng hiểu, tạo và xử lý ngôn ngữ tự nhiên ở mức độ rất phức tạp, thực hiện các tác vụ như dịch thuật, tóm tắt, trả lời câu hỏi, và viết văn bản một cách mạch lạc.

Fine-tuning là quá trình tiếp tục huấn luyện một LLM đã được huấn luyện trước (pre-trained) trên một tập dữ liệu nhỏ hơn, chuyên biệt hơn. Quá trình này giúp mô hình "thích nghi" với một nhiệm vụ hoặc một lĩnh vực cụ thể, ví dụ như fine-tuning trên dữ liệu pháp lý để nó hiểu và phân tích văn bản luật tốt hơn.

Tokenization là bước đầu tiên trong hầu hết các quy trình NLP, là quá trình tách một đoạn văn bản thành các đơn vị nhỏ hơn gọi là "token". Các token có thể là từ, một phần của từ (subword), hoặc ký tự. Việc này giúp máy tính có thể xử lý văn bản dưới dạng số.

Cả hai đều là mô hình Transformer, nhưng có sự khác biệt cốt lõi. BERT (Bidirectional Encoder Representations from Transformers) là một mô hình "encoder", nó nhìn vào toàn bộ câu (cả trái và phải) cùng một lúc để hiểu ngữ cảnh, rất mạnh cho các tác vụ phân tích văn bản. GPT (Generative Pre-trained Transformer) là một mô hình "decoder", nó xử lý văn bản từ trái sang phải, rất mạnh cho các tác vụ sinh văn bản.

NER là một tác vụ của NLP nhằm xác định và phân loại các thực thể có tên trong văn bản vào các danh mục được xác định trước như tên người, tổ chức, địa điểm, ngày tháng, v.v. Ví dụ, trong câu "Ông Nguyễn Văn A làm việc tại FPT ở Hà Nội", NER sẽ xác định "Nguyễn Văn A" là Tên người, "FPT" là Tổ chức, và "Hà Nội" là Địa điểm.

Word Embedding là một kỹ thuật biểu diễn các từ dưới dạng các vector số nhiều chiều. Các vector này nắm bắt được mối quan hệ ngữ nghĩa giữa các từ. Ví dụ, vector của từ "vua" và "nữ hoàng" sẽ gần nhau trong không gian vector, và mối quan hệ vector giữa "vua" và "đàn ông" sẽ tương tự như giữa "nữ hoàng" và "phụ nữ".

LangChain là một framework giúp đơn giản hóa việc xây dựng các ứng dụng phức tạp dựa trên các mô hình ngôn ngữ lớn (LLM). Nó cung cấp các công cụ để kết nối LLM với các nguồn dữ liệu bên ngoài, cho phép LLM tương tác với môi trường và tạo ra các chuỗi xử lý (chains) phức tạp.

Tiếng Việt có nhiều thách thức: nó là ngôn ngữ đơn âm tiết, không có ranh giới từ rõ ràng (ví dụ: "học sinh" có thể bị tách thành "học" và "sinh"); có hệ thống thanh điệu phức tạp (6 thanh điệu thay đổi ý nghĩa của từ); và có nhiều từ đồng âm khác nghĩa. Những yếu tố này đòi hỏi các kỹ thuật xử lý đặc thù.

POS Tagging là quá trình gán nhãn cho mỗi từ trong một câu với một từ loại tương ứng như danh từ, động từ, tính từ, trạng từ, v.v. Đây là một bước phân tích cú pháp cơ bản quan trọng cho nhiều tác vụ NLP phức tạp hơn.

Hugging Face là một công ty và một cộng đồng cung cấp các công cụ mã nguồn mở cho NLP. Thư viện "Transformers" của họ cung cấp hàng ngàn mô hình ngôn ngữ lớn đã được huấn luyện trước, giúp các nhà phát triển dễ dàng tải về, sử dụng và fine-tuning các mô hình state-of-the-art mà không cần phải huấn luyện từ đầu.