一种基于异构资源的Spark任务调度方法和系统(高校公示15天)(不包年费滞纳金)(需要二变)
本发明公开了一种基于异构资源的Spark任务调度方法,包括以下步骤:服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化,服务端接收客户端提交的任务作业,并将该任务作业提交到创建的集群管理器,以将任务作业转换为多个弹性分布式数据集RDD,对得到的所有RDD进行解析,以得到表征多个RDD之间依赖关系的RDD图,服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图,服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。
《一种基于异构资源的Spark任务调度方法和系统(高校公示15天)(不包年费滞纳金)(需要二变)》是一发明专利,专利号为 2022104647621,当前法律状态为已下证,由湖南大学提出申请,发明人为唐卓;伍晨;李肯立;向婷;李虹宇;王啸;罗文明;程欣威,申请日期为2022-04-25,公开(公告)日期为2024-10-15,国际专利分类号(IPC)为 G06F 9/48 (2006.01),高新资质:未报高企。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明公开了一种基于异构资源的Spark任务调度方法,包括以下步骤:服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化,服务端接收客户端提交的任务作业,并将该任务作业提交到创建的集群管理器,以将任务作业转换为多个弹性分布式数据集RDD,对得到的所有RDD进行解析,以得到表征多个RDD之间依赖关系的RDD图,服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图,服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段、第二任务阶段以及第三任务阶段。本发明能够从各方面解决性能优化问题并解决现有任务调度系统由于资源管理器仅限于收集CPU核数导致系统资源浪费的技术问题。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
