一种基于RoBERTa知识蒸馏的相似度文本挖掘方法及系统(高校公示15天)(不包年费滞纳金)(需要二变)
本发明公开了一种基于RoBERTa知识蒸馏的相似度文本挖掘方法及系统,包括:将句子嵌入映射到概率分布空间以转化为概率分布,利用KL散度衡量句子嵌入之间的语义差异,调整嵌入向量的参数,减小相似句子对的KL散度的同时增加不相似句子的KL散度;基于KL散度优化后的损失函数进行反向传播,更新词向量参数,保存优化后的句子向量,生成词向量空间;对基于RoBERTa的知识蒸馏嵌入模型进行训练,将深层模型中的丰富语义信息迁移至轻量化的学生模型;采用训练完成的学生模型执行相似度文本挖掘任务。本发明能够更好地捕捉句子之间的细微语义差异,显著提升了语义相似度计算的精度和计算效率。
《一种基于RoBERTa知识蒸馏的相似度文本挖掘方法及系统(高校公示15天)(不包年费滞纳金)(需要二变)》是一发明专利,专利号为 2024117550411,当前法律状态为已下证,由南京信息工程大学提出申请,发明人为韩进;杨良,申请日期为2024-12-03,公开(公告)日期为2025-04-18,国际专利分类号(IPC)为 G06F 40/194 (2020.01)。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明公开了一种基于RoBERTa知识蒸馏的相似度文本挖掘方法及系统,包括:将句子嵌入映射到概率分布空间以转化为概率分布,利用KL散度衡量句子嵌入之间的语义差异,调整嵌入向量的参数,减小相似句子对的KL散度的同时增加不相似句子的KL散度;基于KL散度优化后的损失函数进行反向传播,更新词向量参数,保存优化后的句子向量,生成词向量空间;对基于RoBERTa的知识蒸馏嵌入模型进行训练,将深层模型中的丰富语义信息迁移至轻量化的学生模型;采用训练完成的学生模型执行相似度文本挖掘任务。本发明能够更好地捕捉句子之间的细微语义差异,显著提升了语义相似度计算的精度和计算效率。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
