Series video · YouTube

Thực hành xây dựng LLM từ đầu

Tự tay lắp ráp một mô hình ngôn ngữ lớn — để nhìn thấy những gì ẩn phía sau ChatGPT và các LLM khác.

Series này là gì?

Đây là series video thực hành việc tự xây dựng một mô hình LLM từ đầu, nhằm mục đích hiểu được cơ chế hoạt động phía sau của các mô hình ngôn ngữ lớn — không chỉ dùng API hay gọi model có sẵn, mà đi từng bước: dữ liệu, token, attention, huấn luyện, suy luận.

Nguồn thực hành

Các buổi thực hành trong series bám theo hướng dẫn trong cuốn sách:

Build a Large Language Model (From Scratch)
(Final Release) — Sebastian Raschka — 2024 — Manning Publications Co., LLC

Chúng tôi ghi lại quá trình làm theo sách trên kênh YouTube — có thể chậm hơn, có thể thử sai, nhưng mục tiêu là học bằng tay và chia sẻ lại hành trình đó.

Hai lý do làm series

Tìm hiểu cho biết

LLM không phải "hộp đen". Khi tự dựng từ token embedding đến transformer block và vòng huấn luyện, bạn bắt đầu thấy vì sao model "hiểu" ngữ cảnh, vì sao cần dữ liệu lớn, và vì sao inference tốn tài nguyên — kiến thức kỹ thuật trở nên cụ thể, không còn trừu tượng.

Truyền đạt thông điệp

Thế giới đã có những LLM rất tuyệt vời và đã tiến rất xa — điều đó không có nghĩa Việt Nam không thể làm được. Có thể bắt đầu từ phiên bản nhỏ bé mà thế giới đã từng làm được từ những năm trước, rồi học dần, thử dần, không cần đuổi theo quy mô ngay từ đầu.

Hãy tận dụng AI và kiến thức của thế giới để tiến hành học tập, thử nghiệm — từ đó biến kiến thức kỹ thuật về AI thành thường thức, để ai cũng có thể hiểu được phần nào cơ chế đằng sau công nghệ mình đang dùng mỗi ngày.

Hướng đi của series

Thực hành theo sách, ghi lại từng chương / từng bước trên video
Ưu tiên hiểu cơ chế hơn là chạy được model lớn nhất
Chia sẻ sai sót, câu hỏi và cách giải quyết — học công khai
Khuyến khích mọi người tự thử, dù chỉ với tài nguyên nhỏ