Mô hình AI tiếng Việt 120 tỷ tham số, hiệu suất thuộc nhóm dẫn đầu cùng Thông qua các bài kiểm tra, mô hình ngôn ngữ lớn VT-Super-120B-A12B do Viettel AI nghiên cứu ghi nhận hiệu suất nằm trong nhóm dẫn đầu về độ chính xác so với...
Thông qua các bài kiểm tra, mô hình ngôn ngữ lớn VT-Super-120B-A12B do Viettel AI nghiên cứu ghi nhận hiệu suất nằm trong nhóm dẫn đầu về độ chính xác so với các mô hình có cùng quy mô....
Thông tin chính
VT-Super-120B-A12B được xây dựng trên kiến trúc mở NVIDIA Nemotron 3 Super với quy mô 120 tỷ tham số, do đội ngũ kỹ sư Việt Nam trực tiếp huấn luyện và tối ưu cho tiếng Việt. Khả năng xử lý ngữ cảnh dài của kiến trúc NVIDIA Nemotron cho phép mô hình duy trì mạch thông tin xuyên suốt giữa nhiều tài liệu, quy trình và hội thoại phức tạp trong cùng một tác vụ. Đáng chú ý, VT-Super-120B-A12B tăng cường năng lực xử lý tiếng Việt mà không làm suy giảm hiệu năng tiếng Anh của mô hình gốc, đồng thời hạn chế hiện tượng quên kiến thức cũ (catastrophic forgetting) thường gặp trong quá trình huấn luyện và tinh chỉnh mô hình AI.
Đây là năng lực đặc biệt quan trọng với các bài toán vận hành đặc thù tại Việt Nam, nơi nhiều quy định và quy trình có thể thay đổi tùy theo loại hồ sơ, đối tượng liên quan hoặc bối cảnh thực thi cụ thể. Việc sở hữu một mô hình lõi có khả năng ghi nhớ và thích ứng linh hoạt với dữ liệu thực tế tạo tiền đề để Viettel AI tinh chỉnh LLM đạt độ chính xác cao, giải quyết triệt để việc tối ưu hóa ứng dụng AI cho từng tổ chức, doanh nghiệp Việt Nam. Bên cạnh việc kế thừa năng lực từ kiến trúc NVIDIA Nemotron 3 Super, Viettel AI cũng xây dựng quy trình huấn luyện LLM dựa trên các nguồn dữ liệu mang tính bản địa như dữ liệu hành chính, nghiệp vụ doanh nghiệp, hội thoại thực tế và hệ thống văn bản chuyên ngành tại Việt Nam.
Điểm đáng chú ý
- VT-Super-120B-A12B được xây dựng trên kiến trúc mở NVIDIA Nemotron 3 Super với quy mô 120 tỷ tham số, do đội ngũ kỹ sư Việt Nam trực tiếp huấn luyện và tối ưu cho tiếng Việt.
- Khả năng xử lý ngữ cảnh dài của kiến trúc NVIDIA Nemotron cho phép mô hình duy trì mạch thông tin xuyên suốt giữa nhiều tài liệu, quy trình và hội thoại phức tạp trong cùng một tác vụ.
- Đáng chú ý, VT-Super-120B-A12B tăng cường năng lực xử lý tiếng Việt mà không làm suy giảm hiệu năng tiếng Anh của mô hình gốc, đồng thời hạn chế hiện tượng quên kiến thức cũ (catastrophic forgetting) thường gặp trong quá trình huấn luyện và tinh chỉnh mô hình AI.
- Đây là năng lực đặc biệt quan trọng với các bài toán vận hành đặc thù tại Việt Nam, nơi nhiều quy định và quy trình có thể thay đổi tùy theo loại hồ sơ, đối tượng liên quan hoặc bối cảnh thực thi cụ thể.
Bối cảnh
Quá trình này bao gồm nhiều giai đoạn huấn luyện; trong đó, giai đoạn tiếp tục tiền huấn luyện (continued pre-training) mở rộng năng lực ngôn ngữ và tri thức tiếng Việt trên kho dữ liệu quy mô lớn. Tiếp theo, mô hình được tinh chỉnh có giám sát (supervised fine-tuning) nhằm cải thiện khả năng suy luận, sau đó được học tăng cường (reinforcement learning) để nâng cao độ chính xác trong phản hồi và khả năng xử lý nghiệp vụ. Ông Nguyễn Mạnh Quý, Giám đốc Viettel AI, nhận định: “AI đang chuyển từ vai trò hỗ trợ sang lớp hạ tầng công nghệ mới.
Quốc gia nào làm chủ được mô hình, dữ liệu và năng lực huấn luyện sẽ có lợi thế tạo ra những hệ thống phục vụ đúng nhu cầu phát triển của mình. Với Viettel, làm chủ LLM tiếng Việt là bước đi cốt lõi để hình thành các giải pháp AI chủ quyền có khả năng đồng hành thực sự cùng các tổ chức, doanh nghiệp Việt Nam”. Trong khi đó, Shilpa Kolhatkar, Giám đốc AI Nations của NVIDIA cho rằng: “Thông qua việc thúc đẩy phát triển AI chủ quyền và AI chuyên biệt theo từng lĩnh vực, Viettel đang góp phần phổ cập khả năng tiếp cận trí tuệ nhân tạo trên quy mô toàn xã hội, đồng thời chuyển hóa ngôn ngữ và dữ liệu bản địa thành những giá trị ứng dụng thực tiễn cho cơ quan chính phủ và doanh nghiệp”.
Theo VnEconomy Kinh tế số
