66B là một mô hình ngôn ngữ lớn có quy mô khổng lồ, được thiết kế để tạo ra văn bản, trả lời câu hỏi, tóm tắt và thực hiện các tác vụ ngôn ngữ phức tạp. Nó có khoảng 66B tham số và được huấn luyện trên tập dữ liệu đa dạng để nắm bắt ngữ nghĩa và ngữ cảnh.

Kiến trúc chủ đạo là Transformer-based, tận dụng tự chú ý để nắm bắt ngữ cảnh dài và mối quan hệ phi tuyến giữa từ ngữ. Nó bao gồm nhiều lớp transformer sâu, cơ chế chuẩn hoá, và kỹ thuật tối ưu hoá như mixed-precision training và data parallelism để quản lý 66 tỷ tham số.
66B có kích thước tham số lên tới 66 tỷ, cho khả năng sinh ngữ tự nhiên, trả lời câu hỏi với logic và đáng tin cậy ở nhiều domain. Hiệu suất trên nhiều tác vụ được đo bằng perplexity, BLEU, và các chỉ số chất lượng khác.

66B được huấn luyện trên tập dữ liệu đa ngôn ngữ và đa loại nội dung, bao gồm sách, bài báo, trang web và mã nguồn. Quá trình huấn luyện kết hợp nhiều kỹ thuật tối ưu và an toàn để hạn chế lệch lạc và phát hiện xung đột ngôn ngữ.
66B được ứng dụng rộng rãi như hỗ trợ viết, trợ lý ảo, phân tích ngôn ngữ tự nhiên và sáng tạo nội dung. Tuy nhiên có giới hạn về sự lệch lạc, nguy cơ sinh thông tin sai, yêu cầu kiểm tra và fine-tuning cho từng lĩnh vực, và cân nhắc về đạo đức và bảo mật.
