Mô hình ngôn ngữ lớn (large language model, LLM) là một mạng nơ-ron được huấn luyện trên lượng văn bản rất lớn để làm đúng một việc: đoán mảnh văn bản tiếp theo dựa trên mọi thứ đứng trước nó. Khi bạn hỏi một chatbot, mô hình không tra một kho dữ kiện rồi đọc ra đáp án; nó sinh câu trả lời từng mảnh một, mỗi mảnh được chọn theo xác suất mà nó học được từ dữ liệu huấn luyện.
Hệ quả thực tế rất rõ: LLM giỏi ở những gì có dạng thức lặp lại nhiều trong văn bản của loài người (diễn đạt, tóm ý, dịch, lập dàn ý, giải thích khái niệm phổ biến), và yếu ở những gì đòi hỏi dữ kiện chính xác, hiếm gặp hoặc mới phát sinh sau thời điểm huấn luyện. Hiểu cơ chế ở mức người dùng giúp bạn đoán trước loại lỗi nào sẽ xuất hiện, thay vì ngạc nhiên mỗi lần mô hình trả lời sai một cách tự tin.
Token: đơn vị mà mô hình thật sự nhìn thấy
Mô hình không đọc chữ cái hay từ theo cách con người đọc. Văn bản đầu vào được cắt thành token — các mảnh có thể là một từ trọn vẹn, một phần của từ, một dấu câu hoặc một khoảng trắng kèm vài ký tự. Bộ cắt (tokenizer) được xây bằng thuật toán thống kê kiểu byte-pair encoding: cụm ký tự nào xuất hiện thường xuyên trong dữ liệu thì được gộp thành một token riêng. Với nhiều bộ cắt phổ biến, tiếng Anh được nén hiệu quả hơn tiếng Việt, nên cùng một nội dung, bản tiếng Việt thường tốn nhiều token hơn.
Điều này không chỉ là chuyện kỹ thuật. Thứ nhất, giới hạn độ dài và chi phí của dịch vụ AI tính theo token, không theo trang hay số từ. Thứ hai, vì mô hình làm việc trên mảnh chứ không trên ký tự, những tác vụ có vẻ dễ như đếm chữ cái trong một từ, đảo ngược chuỗi ký tự hay kiểm tra vần lại dễ sai một cách bất ngờ. Thứ ba, các con số dài thường bị cắt thành nhiều token rời, góp phần giải thích vì sao phép tính nhiều chữ số làm "nhẩm" trong câu trả lời hay trượt — trừ khi hệ thống được nối với công cụ tính toán thật.
Bạn có thể coi mỗi token như một ô trong chuỗi dài. Toàn bộ "tư duy" của mô hình là chuyển đổi chuỗi ô đầu vào thành một phân bố xác suất cho ô kế tiếp, chọn một ô, gắn vào chuỗi, rồi lặp lại cho tới khi gặp tín hiệu dừng.
Kiến trúc Transformer và cơ chế chú ý
Gần như mọi LLM hiện nay dựa trên kiến trúc Transformer, được nhóm nghiên cứu của Google công bố năm 2017 trong bài "Attention Is All You Need" (Vaswani và cộng sự). Điểm mới của Transformer là cơ chế tự chú ý (self-attention): khi xử lý một token, mô hình tính xem nên "nhìn" vào những token nào khác trong ngữ cảnh và nhìn mạnh tới mức nào. Trong câu "Công ty ký hợp đồng với đối tác vì họ đưa giá tốt", để hiểu "họ" là ai, mô hình cần gán trọng số cao cho "đối tác".
Mỗi token được biểu diễn bằng một véc-tơ nhiều nghìn chiều. Qua hàng chục tới hàng trăm lớp, các véc-tơ này được trộn với nhau theo trọng số chú ý rồi biến đổi tiếp. Những gì mô hình "biết" không nằm ở một bảng tra cứu nào, mà phân tán trong hàng tỷ tham số — các con số được điều chỉnh trong quá trình huấn luyện. Vì tri thức được lưu theo kiểu nén và phân tán như vậy, mô hình có thể nhớ khá tốt điều được nhắc hàng nghìn lần, nhưng tái tạo méo mó điều chỉ xuất hiện vài lần.
Một chi tiết người dùng nên biết: cơ chế chú ý tốn tài nguyên tăng nhanh theo độ dài ngữ cảnh, nên mọi mô hình đều có giới hạn số token xử lý được trong một lượt. Các nhà phát triển liên tục nới giới hạn này, nhưng ngữ cảnh dài hơn không có nghĩa mô hình dùng mọi phần của nó tốt như nhau.
Ba giai đoạn tạo nên một chatbot
Một trợ lý AI dạng hội thoại thường đi qua ba bước huấn luyện, mỗi bước để lại dấu vết riêng trong hành vi mà bạn thấy:
- Tiền huấn luyện (pre-training): mô hình đọc một kho văn bản khổng lồ từ web, sách, mã nguồn và tập dữ liệu khác, học dự đoán token kế tiếp. Đây là nơi hình thành phần lớn kiến thức và khả năng ngôn ngữ. GPT-3 (Brown và cộng sự, 2020) với 175 tỷ tham số là cột mốc cho thấy chỉ riêng việc tăng quy mô đã mở ra khả năng làm nhiều tác vụ chỉ từ vài ví dụ trong câu lệnh.
- Tinh chỉnh có giám sát (supervised fine-tuning): mô hình được huấn luyện thêm trên các cặp "câu hỏi – câu trả lời mẫu" do người viết, để học dạng thức của một trợ lý: trả lời thẳng vào câu hỏi, theo đúng định dạng được yêu cầu.
- Học tăng cường từ phản hồi của con người (RLHF) và các biến thể: người đánh giá so sánh nhiều câu trả lời, mô hình được điều chỉnh để ưa câu trả lời được chấm cao. Phương pháp này được mô tả rõ trong công trình InstructGPT (Ouyang và cộng sự, 2022), tiền thân của ChatGPT ra mắt cuối năm 2022.
- Hệ quả của bước thứ ba: mô hình học cách làm người chấm hài lòng. Câu trả lời trôi chảy, tự tin, có cấu trúc thường được chấm cao hơn câu "không biết" — một nguồn gốc quan trọng của thói trả lời bịa và chiều theo người hỏi.
Ngoài ba bước trên, nhiều sản phẩm còn gắn thêm công cụ: tìm kiếm web, chạy mã, đọc tệp người dùng tải lên. Khi đó câu trả lời không chỉ đến từ tham số của mô hình mà còn từ tài liệu được nạp vào ngữ cảnh — một khác biệt rất lớn về độ tin cậy.
Cửa sổ ngữ cảnh và "trí nhớ" của chatbot
Cửa sổ ngữ cảnh (context window) là toàn bộ lượng token mô hình nhìn thấy trong một lần sinh: hướng dẫn hệ thống, lịch sử hội thoại, tài liệu bạn dán vào, và câu trả lời đang được viết. Mô hình không có trí nhớ nào khác giữa các lần gọi; cảm giác "nó nhớ điều mình nói ở đầu cuộc trò chuyện" đến từ việc toàn bộ hội thoại được gửi lại mỗi lượt. Khi hội thoại vượt giới hạn, phần cũ bị cắt bỏ hoặc tóm tắt, và mô hình bắt đầu "quên" ràng buộc bạn đã đặt.
Một số sản phẩm có tính năng ghi nhớ dài hạn, nhưng về bản chất đó là lớp phần mềm lưu ghi chú rồi chèn lại vào ngữ cảnh, không phải mô hình tự học từ bạn. Điểm này quan trọng khi bàn về dữ liệu: nội dung bạn nhập có thể được lưu trên máy chủ nhà cung cấp tuỳ chính sách, dù mô hình không "học" ngay lập tức từ nó.
Với người tra cứu thông tin, quy tắc rút ra là: đưa vào ngữ cảnh đúng tài liệu cần dùng, đặt yêu cầu quan trọng ở chỗ dễ thấy, và mở hội thoại mới khi đổi chủ đề để tránh ràng buộc cũ lẫn vào kết quả mới.
Vì sao cùng câu hỏi lại ra câu trả lời khác nhau
Ở mỗi bước, mô hình tạo ra một phân bố xác suất cho token kế tiếp. Nếu luôn chọn token có xác suất cao nhất (giải mã tham lam), văn bản dễ lặp và đơn điệu. Vì vậy các hệ thống thường lấy mẫu có kiểm soát, điều chỉnh bằng tham số nhiệt độ (temperature) và các ngưỡng như top-p: nhiệt độ cao làm phân bố phẳng hơn, câu trả lời đa dạng hơn nhưng dễ chệch; nhiệt độ thấp làm câu trả lời ổn định hơn.
Tính ngẫu nhiên này là một công cụ kiểm tra hữu ích. Nếu bạn hỏi lại cùng một câu về một dữ kiện (năm sinh, số hiệu văn bản, tên tác giả) trong vài cuộc hội thoại mới và nhận được các đáp án khác nhau, đó là dấu hiệu mô hình không thực sự "biết" mà đang đoán. Ngược lại, câu trả lời nhất quán không đảm bảo đúng — mô hình có thể nhất quán sai nếu dữ liệu huấn luyện chứa một lỗi phổ biến.
Ngoài ra, cách đặt câu hỏi cũng làm dịch phân bố: thêm một tiền đề sai vào câu hỏi ("Vì sao luật X năm 2019 quy định…") thường kéo mô hình xây câu trả lời trên tiền đề đó thay vì bác bỏ nó.
LLM giỏi gì, yếu gì: bảng tham chiếu nhanh
Bảng dưới gom các đặc tính trên thành tiêu chí chọn việc giao cho AI. Đây là xu hướng chung, mức độ khác nhau giữa các mô hình và phiên bản:
| Loại việc | Mức tin cậy điển hình | Lý do theo cơ chế |
|---|---|---|
| Diễn đạt lại, sửa văn, đổi giọng | Cao | Dạng thức ngôn ngữ lặp rất nhiều trong dữ liệu huấn luyện |
| Giải thích khái niệm phổ biến | Khá cao, vẫn cần đối chiếu | Kiến thức được nhắc nhiều lần nên được nén tốt |
| Dữ kiện hiếm: số hiệu văn bản, trích dẫn, năm, tên người | Thấp nếu không có công cụ tra cứu | Ít mẫu trong dữ liệu, mô hình tái tạo méo hoặc bịa |
| Sự kiện sau thời điểm huấn luyện | Rất thấp nếu không có tìm kiếm | Không có trong tham số |
| Tính toán nhiều bước, số lớn | Trung bình, tốt hơn khi dùng công cụ | Số bị cắt thành token rời, lỗi cộng dồn qua các bước |
| Tóm tắt tài liệu bạn cung cấp | Khá, nhưng có thể bỏ sót hoặc thêm ý | Dựa vào ngữ cảnh thật, vẫn chịu giới hạn chú ý |
Cột "lý do" quan trọng hơn cột "mức tin cậy": khi gặp một tác vụ mới, bạn tự hỏi nó dựa vào dạng thức ngôn ngữ hay vào dữ kiện chính xác, rồi suy ra cần kiểm chứng tới đâu.
Mô hình "hiểu" hay chỉ là "con vẹt"? Tranh luận còn mở
Năm 2021, Emily Bender, Timnit Gebru và cộng sự đưa ra hình ảnh "con vẹt ngẫu nhiên" (stochastic parrots): mô hình ghép nối dạng thức ngôn ngữ mà không gắn với ý nghĩa hay thế giới thực. Phía phản biện chỉ ra rằng để dự đoán tốt văn bản về vật lý, mã nguồn hay lập luận pháp lý, mô hình buộc phải hình thành biểu diễn nội tại có cấu trúc; một số nghiên cứu diễn giải (interpretability) đã tìm thấy các biểu diễn như vậy cho những khái niệm cụ thể.
Hiện trạng hợp lý nhất là: LLM có năng lực khái quát vượt xa việc chép lại, nhưng năng lực đó không đồng đều, không đi kèm cơ chế tự biết mình sai, và không gắn với nguồn kiểm chứng. Với người dùng, câu hỏi "nó có hiểu không" ít hữu ích hơn câu hỏi "trong tác vụ này, lỗi của nó có thể phát hiện được không và cái giá của lỗi là bao nhiêu".
Đó cũng là nguyên tắc vận hành tốt khi đưa AI vào công việc tri thức: giao cho mô hình những bước mà sai sót lộ ra dễ dàng (bản nháp, dàn ý, gợi ý từ khoá tìm kiếm), giữ cho con người và nguồn chính thức những bước mà sai sót nằm im (con số, trích dẫn, kết luận pháp lý, y khoa).
Câu hỏi thường gặp
LLM có truy cập internet khi trả lời không?
Bản thân mô hình thì không. Nó chỉ dùng tham số đã học và nội dung trong cửa sổ ngữ cảnh. Một số sản phẩm gắn thêm công cụ tìm kiếm web; khi đó hệ thống tìm trang, chèn đoạn trích vào ngữ cảnh rồi để mô hình viết câu trả lời. Bạn nên xem giao diện có hiển thị nguồn đã truy cập hay không để biết câu trả lời đến từ đâu.
Thời điểm cắt dữ liệu huấn luyện ảnh hưởng gì?
Mọi kiến thức trong tham số dừng ở thời điểm thu thập dữ liệu. Văn bản pháp luật mới, giá cả, nhân sự, sự kiện sau mốc đó mô hình không biết, nhưng nó vẫn có thể trả lời trơn tru dựa trên thông tin cũ. Với chủ đề thay đổi nhanh, hãy dùng chế độ có tìm kiếm hoặc tự tra nguồn chính thức.
Mô hình có học ngay từ dữ liệu người dùng nhập vào không?
Không theo nghĩa cập nhật tham số tức thì. Tuy nhiên, tuỳ chính sách từng nhà cung cấp và loại tài khoản, hội thoại có thể được lưu và dùng cho các đợt huấn luyện sau. Doanh nghiệp nên đọc điều khoản về lưu trữ và huấn luyện, và ưu tiên gói dịch vụ có cam kết không dùng dữ liệu khách hàng để huấn luyện.
Nhiều tham số hơn có nghĩa là chính xác hơn không?
Xu hướng chung là mô hình lớn hơn, huấn luyện trên dữ liệu tốt hơn sẽ làm tốt hơn nhiều tác vụ, nhưng không có quan hệ tuyến tính đơn giản. Chất lượng dữ liệu, cách tinh chỉnh và công cụ đi kèm có thể quan trọng ngang quy mô. Mô hình lớn vẫn bịa dữ kiện hiếm, chỉ là bịa trôi chảy hơn.
Vì sao chatbot hay xin lỗi rồi lại sửa sai thành một câu sai khác?
Khi bạn nói "sai rồi", mô hình được huấn luyện để chiều theo phản hồi và đưa phương án khác, nhưng nó không có cơ chế tra lại sự thật. Nếu dữ kiện vốn không có trong tham số, phương án mới cũng chỉ là một lần đoán khác. Cách đúng là cung cấp nguồn hoặc chuyển sang tra cứu bằng công cụ có trích dẫn.
Có nên dùng LLM như một công cụ tìm kiếm thay Google không?
Nên coi chúng là hai công cụ bổ trợ. LLM giỏi giúp bạn hiểu nhanh một lĩnh vực, gợi ý thuật ngữ và câu hỏi tìm kiếm tốt hơn; công cụ tìm kiếm và cơ sở dữ liệu chuyên ngành dẫn bạn tới văn bản gốc để kiểm chứng. Những gì cần dẫn lại cho người khác vẫn phải truy về nguồn gốc.