基于词格和相对位置嵌入的中文问题生成统一预训练方法
本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法,具体包括如下步骤:对Robert参数进行领域预训练;使用半监督半人工的方式,快速且准确的生成目标领域词典;根据词典将输入中字和词的相对位置信息融入Transformer层;新建的Transformer层,通过大量开放域问答数据,进行任务预训练;生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息,模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。
《基于词格和相对位置嵌入的中文问题生成统一预训练方法》是一发明专利,专利号为 2021108145460,当前法律状态为已下证,由西安理工大学提出申请,发明人为朱磊;皎玖圆;张亚玲;姬文江;王一川;黑新宏,申请日期为2021-07-19,公开(公告)日期为2024-09-20,国际专利分类号(IPC)为 G06F 40/242 (2020.01),高新资质:未报高企,所属技术领域包括:中文自然语言处理、人工智能。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法,具体包括如下步骤:对Robert参数进行领域预训练;使用半监督半人工的方式,快速且准确的生成目标领域词典;根据词典将输入中字和词的相对位置信息融入Transformer层;新建的Transformer层,通过大量开放域问答数据,进行任务预训练;生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息,模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
