66B là một mô hình ngôn ngữ được xây dựng với khoảng 66 tỷ tham số, nhằm xử lý ngôn ngữ tự nhiên và thực hiện nhiều tác vụ như sinh văn bản, trả lời câu hỏi, và phân tích ngữ nghĩa. Mô hình này thuộc dòng các mô hình transformer và được huấn luyện trên lượng dữ liệu lớn.
Nó dựa trên cơ chế attention để kết hợp thông tin từ nhiều vị trí trong câu, sử dụng lớp khối transformer sâu và tối ưu hoá bằng các hàm chi phí trên tập dữ liệu khổng lồ.
66B có thể được dùng cho tổng hợp văn bản, dịch máy, trợ lý ảo, tóm tắt nội dung, và nhiều ứng dụng NLP khác trong công nghiệp và nghiên cứu.
