基于词格和相对位置嵌入的中文问题生成统一预训练方法

所属领域:中文自然语言处理、人工智能 · 已下证
基于词格和相对位置嵌入的中文问题生成统一预训练方法发明专利
专利号2021108145460
专利类型发明专利
专利状态已下证
专利领域中文自然语言处理、人工智能
专利价格****
公开(公告)号2021108145460
IPC分类G06F 40/242 (2020.01)
申请日2021-07-19
公开日2024-09-20
申请人西安理工大学
发明人朱磊;皎玖圆;张亚玲;姬文江;王一川;黑新宏
专利权人西安理工大学
授权公告号CN113743095B
高企状态未报高企
缴费日期2027/8/19

专利摘要

本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法,具体包括如下步骤:对Robert参数进行领域预训练;使用半监督半人工的方式,快速且准确的生成目标领域词典;根据词典将输入中字和词的相对位置信息融入Transformer层;新建的Transformer层,通过大量开放域问答数据,进行任务预训练;生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息,模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。


专利解读

《基于词格和相对位置嵌入的中文问题生成统一预训练方法》是一发明专利,专利号为 2021108145460,当前法律状态为已下证,由西安理工大学提出申请,发明人为朱磊;皎玖圆;张亚玲;姬文江;王一川;黑新宏,申请日期为2021-07-19,公开(公告)日期为2024-09-20,国际专利分类号(IPC)为 G06F 40/242 (2020.01),高新资质:未报高企,所属技术领域包括:中文自然语言处理、人工智能。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法,具体包括如下步骤:对Robert参数进行领域预训练;使用半监督半人工的方式,快速且准确的生成目标领域词典;根据词典将输入中字和词的相对位置信息融入Transformer层;新建的Transformer层,通过大量开放域问答数据,进行任务预训练;生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息,模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。


同领域相关专利
专利价值

海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!

常见问题
购买专利需要多长时间?+
专利转让流程通常需要 1–3 个月,具体周期取决于国家知识产权局的审查与公告进度,顾问会全程跟进。
专利真实有效吗?+
平台所有专利均来自官方公开数据,支持在国知局官网核验法律状态,确保真实可查。
交易安全如何保障?+
本平台同时作为专利出让方,交易款项由平台直接收取,不通过第三方资金托管。我们郑重承诺:若因平台原因(如专利法律状态异常、转让手续无法办理等)导致交易未能完成,将为您全额退款,切实保障您的资金安全。
价格可以议价吗?+
标价为基础参考价,实际成交价可据批量采购、转让方式等协商,提交需求后顾问会给您最优报价。

待选专利