66B là một mô hình ngôn ngữ có quy mô khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau. Mô hình này tận dụng kiến trúc transformer và các kỹ thuật tối ưu hóa để đạt hiệu suất cao trong các tác vụ như sinh văn bản, trả lời câu hỏi, phân loại văn bản và tóm tắt tự động.
Kiến trúc của 66B dựa trên các lớp transformer tự chú ý, cho phép mô hình học được mối quan hệ ngữ nghĩa ở mức độ sâu. Dữ liệu huấn luyện được thu thập từ nguồn mở và dữ liệu riêng tư được cấp phép, nhằm bao quát nhiều phong cách ngôn ngữ khác nhau và đảm bảo tính tổng quát. Quá trình huấn luyện đòi hỏi tài nguyên tính toán lớn và kỹ thuật tối ưu như hỗ trợ đạo hàm, quá trình dropout và chuẩn hóa tham số.
Với 66B, mô hình có khả năng hiểu và sinh ngôn ngữ ở mức độ nhất định gần các mô hình có tham số lớn hơn, đồng thời tối ưu chi phí tính toán so với các kích thước lớn hơn. Ứng dụng có thể bao gồm hệ thống trả lời tự động, hỗ trợ viết nội dung, hỗ trợ khách hàng và công cụ trợ lý cá nhân, đặc biệt là trong ngôn ngữ Việt Nam và các ngữ cảnh đa ngôn ngữ.
Những thách thức chính bao gồm xử lý dữ liệu nhạy cảm, giảm thiên vị và đảm bảo an toàn nội dung. Ngoài ra, các tác vụ như suy diễn dài hạn và kiểm soát lỗi còn cần nghiên cứu thêm. Tương lai của 66B hướng tới tích hợp với các hệ thống đa mô hình, khả năng học liên tục và tối ưu hoá trên phần cứng hiện có để mở rộng ứng dụng trong công nghiệp và nghiên cứu.
66B đại diện cho xu hướng phát triển mô hình ngôn ngữ quy mô lớn, cân bằng giữa hiệu suất và chi phí, đồng thời mở ra nhiều cơ hội cho các ứng dụng ngôn ngữ tự nhiên ở Việt Nam và toàn cầu.
