一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法(高校公示15天)(不包年费滞纳金(需要二变))
发明专利本发明公开一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法。基于transfomer模型,采用自监督学习技术从大规模蛋白质序列数据中学到有用的生物信息。为了降低蛋白质语言模型对显存的需求以方便部署,本发明首先把全连接层的权重矩阵表示成多个小矩阵的Kronecker积的和,然后设计了一种基于Eckhart‑Young定理的奇异值分解方法对小矩阵参数集进行初始化。本发明提出的设计方法可以在维持蛋白质语言模型建模能力的同时显著减少参数的数量。此外,基于本发明获得的预训练蛋白质语言模型可以为蛋白质结构预测、蛋白质折叠识别和蛋白质功能预测等任务提供富含生物信息的嵌入特征。
《一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法(高校公示15天)(不包年费滞纳金(需要二变))》是一发明专利,专利号为 2023114397665,当前法律状态为已下证,由河南大学提出申请,发明人为杨伟;张蕾;刘春;李征,申请日期为2023-10-31,公开(公告)日期为2024-01-05,国际专利分类号(IPC)为 G16B20/00(2019.01)I;G16B40/20(2019.01)I;G06F18/214(2023.01)I,高新资质:未报高企。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明公开一种基于自监督学习和Kronecker积分解的参数高效蛋白质语言模型设计方法。基于transfomer模型,采用自监督学习技术从大规模蛋白质序列数据中学到有用的生物信息。为了降低蛋白质语言模型对显存的需求以方便部署,本发明首先把全连接层的权重矩阵表示成多个小矩阵的Kronecker积的和,然后设计了一种基于Eckhart‑Young定理的奇异值分解方法对小矩阵参数集进行初始化。本发明提出的设计方法可以在维持蛋白质语言模型建模能力的同时显著减少参数的数量。此外,基于本发明获得的预训练蛋白质语言模型可以为蛋白质结构预测、蛋白质折叠识别和蛋白质功能预测等任务提供富含生物信息的嵌入特征。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
