Intel đã cho ra mắt các CPU Xeon thế hệ thứ 4 với tên gọi là Sapphire Rapids. Theo đó, dòng CPU mới này đã đạt được hiệu suất tăng gấp 10 lần trong AI Stable Diffusion nhờ AMX.
Tối ưu hóa hệ thống Intel và OpenVINO mang lại hiệu suất tăng tốc cho Stable Diffusion inference
Mới đây, Intel vừa giới thiệu CPU Xeon Sapphire Rapids thế hệ thứ 4 mới nhằm tăng cường hiệu suất và ổn định cho các ứng dụng trí tuệ nhân tạo. Các CPU này đã được ứng dụng nhanh chóng trong các trung tâm dữ liệu và đám mây. Đặc biệt, tính năng phần cứng của CPU đã được tăng cường với bộ tăng tốc AMX (Mở rộng ma trận nâng cao), giúp tăng tốc quá trình học sâu đồng thời đảm bảo tính ổn định của hệ thống. Điều này sẽ giúp cho các nhà phát triển trí tuệ nhân tạo có thể chạy các mô hình phức tạp hơn.
Với tối ưu hóa này từ IPEX và BF16, Intel đã thành công trong việc tăng hiệu suất cho suy luận khuếch tán ổn định (Stable Diffusion inference). Điều này có thể được nhìn thấy trong biểu đồ do Intel cung cấp. Với hình dạng tĩnh, độ trễ trung bình đã giảm xuống chỉ còn 4,7 giây, đẩy mức tăng tốc lên 3,5 lần vô cùng ấn tượng
OpenVINO là một công cụ hiệu quả cao và thân thiện với người dùng để tăng tốc suy luận khuếch tán ổn định. Khi được kết hợp với CPU Sapphire Rapids, nó mang lại tốc độ tăng gần gấp 10 lần so với suy luận tiêu chuẩn trên Ice Lake Xeons. Phiên bản mới nhất của OpenVINO có tính năng IPEX và AMX, độ trễ suy luận đã giảm từ 11,9 giây xuống 5,4 giây, đẩy khả năng tăng tốc lên hơn 2 lần.
Trên thực tế, phiên bản cuối cùng của OpenVINO đã cố gắng đẩy độ trễ suy luận xuống chỉ còn 5,05 giây. Tốc độ này nhanh hơn gần 6,5 lần so với mức cơ bản ban đầu của Sapphire Rapids là 32,3 giây. Điều này cho thấy tác động to lớn của việc tối ưu hóa cấp hệ thống của Intel và hiệu quả của OpenVINO.
Tạm kết
Nhìn chung, bản xem trước của CPU Sapphire Rapids Xeon trên các phiên bản Amazon EC2 R7iz mang đến cơ hội cho những ai quan tâm đến việc khám phá những tiến bộ mới nhất trong công nghệ CPU. Với những khả năng tiên tiến và hiệu suất ấn tượng, rõ ràng những CPU này sẽ là nhân tố chính trong ngành công nghệ trong nhiều năm tới.
Trên đây là những thông tin đã được tổng hợp, hãy theo dõi trang tin tức Hoàng Hà Mobile để cập nhật những thông tin công nghệ mới nhất nhé. Và đừng quên truy cập kênh YouTube Hoàng Hà Channel để theo dõi những video viral về công nghệ thú vị.
