一种针对深度学习推理服务系统的GPU调度优化方法(高校公示15天)(不包年费滞纳金)(需要二变)
本发明新型公开了一种针对深度学习推理服务系统的GPU调度优化方法,包括针对深度学习推理服务系统作初始化处理;分配获取的处理后的系统对应包含的所有模型,启动预测线程,周期性执行吞吐量需求预测流程,针对预测线程分配得到的模型预测新周期内的吞吐量需求;启动调度线程,采用获得的预测吞吐量需求,在调度时刻执行基于反馈控制策略的吞吐量调整流程,优化系统各模型的实际吞吐量分配。本发明能够动态预测各模型服务在独占GPU时的吞吐量,有效适应复杂多变的工作负载;满足部署在同一台服务器上各模型请求的不同延时和吞吐量需求,弥补了现有模型服务系统中的任务调度策略的不足。
《一种针对深度学习推理服务系统的GPU调度优化方法(高校公示15天)(不包年费滞纳金)(需要二变)》是一发明专利,专利号为 2022114568908,当前法律状态为已下证,由湖南大学提出申请,发明人为彭亚琼,申请日期为2022-11-21,公开(公告)日期为2025-07-25,国际专利分类号(IPC)为 G06F 9/48 (2006.01),高新资质:未报高企。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明新型公开了一种针对深度学习推理服务系统的GPU调度优化方法,包括针对深度学习推理服务系统作初始化处理;分配获取的处理后的系统对应包含的所有模型,启动预测线程,周期性执行吞吐量需求预测流程,针对预测线程分配得到的模型预测新周期内的吞吐量需求;启动调度线程,采用获得的预测吞吐量需求,在调度时刻执行基于反馈控制策略的吞吐量调整流程,优化系统各模型的实际吞吐量分配。本发明能够动态预测各模型服务在独占GPU时的吞吐量,有效适应复杂多变的工作负载;满足部署在同一台服务器上各模型请求的不同延时和吞吐量需求,弥补了现有模型服务系统中的任务调度策略的不足。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
