Microsoft giới thiệu mô hình AI chạy trên CPU thông thường

Một nhóm các nhà khoa học máy tính tại Microsoft Research, Viện Hàn lâm khoa học Trung Quốc, đã giới thiệu mô hình AI mới của Microsoft chạy trên CPU thông thường thay vì GPU.

Nhiều năm qua, LLM đã trở nên thịnh hành. Các mô hình như ChatGPT đã được cung cấp cho người dùng trên toàn cầu, giới thiệu ý tưởng về chatbot thông minh. Một điểm chung của hầu hết chúng là chúng được đào tạo và chạy trên chip GPU. Điều này là do lượng công suất tính toán khổng lồ mà chúng cần khi được đào tạo trên lượng dữ liệu khổng lồ.

Một trong những phần tốn nhiều năng lượng nhất khi chạy các mô hình AI liên quan đến cách sử dụng và lưu trữ trọng số- thường là các số thực 8 hoặc 16 bit. Cách tiếp cận như vậy liên quan đến rất nhiều bộ nhớ và xử lý CPU, do đó đòi hỏi rất nhiều năng lượng. Trong cách tiếp cận mới, các nhà nghiên cứu đã loại bỏ hoàn toàn việc sử dụng số thực và thay vào đó đề xuất sử dụng thứ mà họ mô tả là kiến trúc 1 bit.

Trong cải tiến của mình, trọng số được lưu trữ và xử lý chỉ bằng 3 giá trị: -1, 0 và 1. Điều này cho phép chỉ sử dụng phép cộng và phép trừ đơn giản trong quá trình xử lý- các hoạt động có thể dễ dàng thực hiện bằng máy tính chạy bằng CPU.

CHIÊU HÂN (nguồn: TechXplore)