一种神经网络模型动态分层梯度压缩方法
一种深度神经网络模型动态分层梯度压缩方法,将梯度稀疏化压缩方法与流水线并行技术相结合,为每层神经网络匹配一个合适的阈值,通过在后续迭代时动态调整该阈值,实现对每层网络传输梯度的自适应压缩。之后,结合给定的模型结构和硬件配置信息,利用启发式动态规划算法求解最佳的层梯度组合通信方式,将多层小尺度梯度张量合并为一层通信。最后,将求解出的最优的层梯度合并组合应用于具体的训练迭代过程,在保证模型训练精度的同时,提升大规模深度神经网络模型训练速度,实现计算与通信最大化重叠,提高计算资源利用率,为充分利用硬件计算资源,提升深度神经网络模型训练速度提供一个有效的解决方法。
《一种神经网络模型动态分层梯度压缩方法》是一发明专利,专利号为 2024103878933,当前法律状态为已下证,由兰州交通大学提出申请,发明人为巨涛;康贺廷;张燕;刘帅;火久元,申请日期为2024-04-01,公开(公告)日期为2024-08-02,国际专利分类号(IPC)为 G06N 3/0495 (2023.01),高新资质:未报高企,所属技术领域包括:(深度学习、神经网络、模型训练、通信优化)。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:一种深度神经网络模型动态分层梯度压缩方法,将梯度稀疏化压缩方法与流水线并行技术相结合,为每层神经网络匹配一个合适的阈值,通过在后续迭代时动态调整该阈值,实现对每层网络传输梯度的自适应压缩。之后,结合给定的模型结构和硬件配置信息,利用启发式动态规划算法求解最佳的层梯度组合通信方式,将多层小尺度梯度张量合并为一层通信。最后,将求解出的最优的层梯度合并组合应用于具体的训练迭代过程,在保证模型训练精度的同时,提升大规模深度神经网络模型训练速度,实现计算与通信最大化重叠,提高计算资源利用率,为充分利用硬件计算资源,提升深度神经网络模型训练速度提供一个有效的解决方法。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
