Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Cách AI hiểu bối cảnh 1M token
Đến 2025, LLM có ngữ cảnh triệu token, nhưng hiệu quả thực tế thường chỉ bằng một nửa. Bài viết đi sâu vào cách các kiến trúc attention, positional encoding và bộ nhớ khác nhau ảnh hưởng đến khả năng truy hồi, suy luận và lỗi của mô hình. Chọn mô hình đúng là chọn cách nó thành công và thất bại.