英特尔用更大的语言模型优化更新PyTorch构建

图片[1]-英特尔用更大的语言模型优化更新PyTorch构建-趣考网英特尔发布了“英特尔PyTorch v2.3扩展”,以继承早期v2.1衍生的扩展。随着这一针对PyTorch 2.3的更新扩展,英特尔正在围绕大型语言模型(LLM)推出更多优化。

“英特尔PyTorch扩展”仍然是英特尔优化的下游软件,可通过PyTorch框架最大限度地提高英特尔CPU性能。“英特尔PyTorch扩展”附带了更多AVX-512 VNNI优化、英特尔AMX支持、英特尔XMX对英特尔dGPU的支持,以及其他改进,可最大限度地增强英特尔硬件上的PyTorch功能。

随着v2.3的扩展,出现了新的大型语言模型优化功能,该功能名为LLM优化API,用于对常用LLM进行模块级优化,更新捆绑的Intel oneDNN神经网络库,添加TorchServer CPU示例、其他LLM性能优化,以及改进的警告和日志记录信息。

图片[2]-英特尔用更大的语言模型优化更新PyTorch构建-趣考网

Those making use of PyTorch on Intel platforms can find the updated open-source extension on GitHub.

© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享