基于内存计算框架Spark的性能优化和参数配置方法
发明专利本发明公开了一种基于内存计算框架Spark的性能优化和参数配置方法,通过先确定Spark应用程序类型以及影响不同类型的Spark性能参数,随机组合配置参数得到训练集,将训练集通过LightGBM算法建立配置参数模型,通过贝叶斯优化算法搜索LightGBM算法的超参数最优组合,进一步使得配置模型选择出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作业和取值范围,以及应用程序类型特点和输入集的情况下,能为用户找到运行在不同集群环境下不同类型应用程序的最优配置参数,较之前的参数配置方法更加简单明了方便。
《基于内存计算框架Spark的性能优化和参数配置方法》是一发明专利,专利号为 2019112412679,当前法律状态为已售,由重庆邮电大学提出申请,发明人为范天文;龙昭华;沈励芝;余快;崔永明,公开(公告)日期为2020-05-19,国际专利分类号(IPC)为 G06F9/50(2006.01)I;G06F9/445(2018.01)I;G06K9/62(2006.01)I,高新资质:未报高企,所属技术领域包括:大数据处理。该专利权属清晰,可通过正规流程办理转让,适用于企业技术升级、资质申报与战略布局。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明公开了一种基于内存计算框架Spark的性能优化和参数配置方法,通过先确定Spark应用程序类型以及影响不同类型的Spark性能参数,随机组合配置参数得到训练集,将训练集通过LightGBM算法建立配置参数模型,通过贝叶斯优化算法搜索LightGBM算法的超参数最优组合,进一步使得配置模型选择出最优配置参数。本发明不要求用户理解Spark运行机制、参数意义作业和取值范围,以及应用程序类型特点和输入集的情况下,能为用户找到运行在不同集群环境下不同类型应用程序的最优配置参数,较之前的参数配置方法更加简单明了方便。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
