华为AI模型量化相关专利公布 可减少模型占用内存

文章正文
发布时间:2025-02-12 14:25

  天眼查App显示,1月28日,华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利公布。

  摘要显示,量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度,将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。量化单元可以对分块量化矩阵进行量化处理,以得到量化后的分块量化矩阵,并存储在存储器中,可以减少AI模型占用的内存。量化矩阵可以是权重矩阵,也可以是激活矩阵。量化单元量化过程中,是基于运行AI模型的计算设备的各个计算单元的处理粒度进行量化,并不需要基于张量级别进行离群值的统计,实现AI模型对权重矩阵和激活矩阵都可以进行实时量化。

(文章来源:界面新闻)

文章来源:界面新闻 责任编辑:70

原标题:华为AI模型量化相关专利公布,可减少模型占用内存

郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。

举报

东方财富网

分享到微信朋友圈

打开微信,

点击底部的“发现”

使用“扫一扫”

即可将网页分享至朋友圈

扫描二维码关注

东方财富官网微信