Trong quá khứ, mọi người đã cố gắng lên đám mây, nhưng chi phí khả năng tính toán trong giai đoạn suy diễn khiến nhiều đội ngũ nhận ra: Suy diễn AI quy mô lớn và dài hạn tiêu tốn quá nhanh trên đám mây. Ứng dụng AI gốc phù hợp hơn với việc hạ thấp các nhiệm vụ suy diễn quan trọng xuống các trung tâm dữ liệu địa phương, vừa thả trễ vừa tiết kiệm băng thông và chi phí thuê đám mây.

Tranh giành bộ nhớ là đặc điểm điển hình trong giai đoạn đầu của việc huấn luyện học sâu ( Ai có bộ nhớ đồ họa lớn hơn thì người đó thắng ) , nhưng hôm nay:

Giới hạn băng thông dữ liệu lưu trữ vào GPU ảnh hưởng trực tiếp đến QPS suy diễn.

Tốc độ tương tác giữa GPU và CPU/thẻ tăng tốc là giới hạn hiệu suất của pipeline

Công suất tiêu thụ của cụm AI đơn máy có thể đạt hàng chục kilowatt, thiết kế PD không hợp lý sẽ trực tiếp làm tắc nghẽn quy mô triển khai khả năng tính toán.

Nếu bố cục trung tâm dữ liệu vẫn dừng lại ở mô hình thiết kế kinh doanh Web/cơ sở dữ liệu truyền thống năm 2015, nó sẽ gặp phải sự cố trực tiếp dưới tải AI.

Xem những hiểu biết của chúng tôi:
20 Chuyên Gia Công Nghệ Về Các Xu Hướng Phần Cứng Mới Nổi Mà Doanh Nghiệp Phải Theo Dõi qua @forbes