66B là cách gọi tắt của mô hình ngôn ngữ có khoảng 66 tỷ tham số, thuộc dòng lớn nhất hiện có trên thị trường công nghệ. Mô hình này được huấn luyện trên tập dữ liệu đa dạng, cho phép sinh văn bản, tóm tắt, trả lời câu hỏi và thực hiện tác vụ ngôn ngữ phức tạp. So với các mô hình nhỏ hơn, 66B thể hiện khả năng hiểu ngữ cảnh sâu và tạo văn bản tự nhiên ở nhiều ngôn ngữ, bao gồm tiếng Anh, tiếng Việt và nhiều ngôn ngữ khác. Tuy nhiên kích thước lớn đi kèm chi phí tính toán cao và yêu cầu quản trị nguồn lực nghiêm ngặt.
66B thường dựa trên kiến trúc transformer, với cơ chế attention cho phép mô hình xem xét toàn bộ chuỗi đầu vào và xác suất từng từ tiếp theo. Số lượng tham số và chiều ẩn kích thước lớn cho phép mô hình nắm bắt mối quan hệ ngữ nghĩa ở mức độ cao. Quá trình huấn luyện sử dụng tối ưu hoá stochastic gradient descent trên nhiều GPU/TPU, chia nhỏ dữ liệu và áp dụng kỹ thuật như mix-precision và sharding để tối ưu tài nguyên. Mô hình có thể được điều chỉnh cho các tác vụ cụ thể thông qua fine-tuning hoặc hướng dẫn bằng prompt để đạt hiệu suất cao hơn trong ứng dụng thực tế.
Việc huấn luyện 66B đòi hỏi nguồn dữ liệu lớn và đa dạng, từ văn bản thuần túy tới các nguồn tài nguyên đa ngôn ngữ. Quá trình tiền xử lý, lọc nội dung nhạy cảm và chuẩn hoá văn bản giúp tăng chất lượng và giảm rủi ro. Sau khi huấn luyện, có thể áp dụng kỹ thuật pruning hoặc quantization để giảm kích thước và tăng tốc inference mà vẫn duy trì chất lượng đầu ra.
66B có thể được sử dụng để tự động hóa viết nội dung, hỗ trợ dịch thuật, trợ lý ảo và phân tích ngữ nghĩa. Tuy nhiên, kích thước và tính phức tạp đặt ra thách thức về chi phí vận hành, phát sinh thiên vị dữ liệu và khả năng cung cấp thông tin chưa được xác thực. Người dùng nên kết hợp với hệ thống kiểm tra và giám sát nội dung, cũng như thiết lập bảo mật và quyền riêng tư khi triển khai trong doanh nghiệp.
Đảm bảo an toàn và minh bạch khi làm việc với 66B đòi hỏi các khía cạnh như kiểm tra chất lượng đầu ra, phát hiện và giảm thiểu rủi ro lạm dụng, đồng thời thúc đẩy phát triển có trách nhiệm. Trong tương lai, các mô hình 66 tỷ tham số có thể được tối ưu hoá qua cải tiến hiệu suất trên thiết bị biên, tích hợp RLHF (reinforcement learning from human feedback) và kết hợp với hệ sinh thái công cụ để mở rộng ứng dụng cho doanh nghiệp và giáo dục.
