NỮ HOÀNG LỬA 2

Một trong những cải tiến của Transformer là sử dụng multi-head attention. Thay vì tính toán chỉ một phép attention d