Startup có trụ sở tại Singapore — Acrab — vừa chính thức hé lộ chiếc Agent Box, một cỗ máy mini PC được chế tạo để chạy các mô hình ngôn ngữ lớn (LLM) lên tới 100 tỷ tham số hoàn toàn trên phần cứng cục bộ.
Thiết bị này được vận hành bởi một con chip độc quyền mang tên GΞLIX 1, sản xuất trên tiến trình 5nm nhằm phục vụ tính toán biên (edge computing) siêu hiệu quả.
Acrab tuyên bố hệ thống này mang lại hiệu suất gần tương đương với dòng DGX Spark trị giá 5.000 USD của Nvidia, trong khi cắt giảm chi phí xuống còn khoảng một phần năm và giảm một nửa mức tiêu thụ điện năng.
Con chip tùy chỉnh dành riêng cho các tác vụ AI cục bộ
Bộ vi xử lý GΞLIX 1 kết hợp CPU Arm 20 nhân, GPU đạt mức 3 TFLOPS và một đơn vị xử lý thần kinh (NPU) đa nhân được tinh chỉnh riêng cho việc suy luận mô hình ngôn ngữ lớn (LLM inference).
Nó tận dụng bộ nhớ thống nhất băng thông cao 273 GB/s cùng với bộ nhớ đệm L1 8MB và L2 768GB/s.
Acrab cho biết con chip này đạt công suất xử lý lên tới 700 TOPS trong khi vẫn giữ cho toàn bộ hệ thống đủ nhỏ gọn để đặt gọn gàng trên bàn làm việc.
NPU được cân bằng tốt với đơn vị tính toán đa năng, và khả năng tăng tốc vector VAE được cho là giúp tăng tốc độ xử lý attention lên tới ba lần.
Ngoài vi xử lý trung tâm, SoC này còn tích hợp cụm video DSP, nhiều hệ thống phụ đầu vào camera và một công cụ hiển thị độ phân giải cao bên trong một kiến trúc hợp nhất duy nhất.
Trong các bài kiểm tra nội bộ, công ty ghi nhận tốc độ nạp (prefill rate) đạt 1.416,8 token mỗi giây dưới cấu hình Gemma 26B A4B với bộ nhớ đệm 40K KV và đầu vào 10K token.
So sánh với con số 188,9 token mỗi giây trên Apple Mac Mini M4 Pro, Acrab tuyên bố tốc độ nạp nhanh hơn gấp 7,5 lần so với phần cứng tiêu dùng thông thường.
Mở rộng hệ sinh thái phần mềm
Bên cạnh thông số phần cứng, Acrab cho biết Agent Box đi kèm một nền tảng phần mềm hoàn chỉnh bao gồm các runtime AI, chuỗi công cụ cho nhà phát triển, khả năng hệ điều hành, thiết kế tham khảo và phần mềm điều phối cho các agent tự trị.
Các bản demo do công ty phát hành cho thấy lệnh thoại có thể tự động tạo và in mô hình 3D, vận hành robot hút bụi và tương tác với các thiết bị thông minh kết nối như đèn, điều hòa và khóa thông minh.
Acrab khẳng định việc giữ quá trình suy luận ngay trên thiết bị giúp giảm chi phí token, bảo mật thông tin cục bộ, duy trì hoạt động khi kết nối internet bị hạn chế và cung cấp bộ nhớ bền vững cho trợ lý AI cá nhân hóa.
Công ty cũng có kế hoạch mở rộng nền tảng tính toán này sang các hệ thống AI NAS (lưu trữ mạng), robot công nghiệp, robot dịch vụ và xe thông minh thông qua các mối quan hệ đối tác với nhà sản xuất phần cứng.
Mặc dù Acrab chưa tiết lộ nhiều thông tin công ty, các thông báo bản quyền đi kèm có nhắc đến CATL — nhà sản xuất pin xe điện lớn nhất thế giới. Nếu mối quan hệ đó phản ánh chính xác sự hậu thuẫn tài chính, thông báo này chắc chắn sẽ thu hút thêm sự chú ý lớn nhờ quy mô và nguồn lực khổng lồ từ CATL.
