BERT模型的训练方法、系统、计算机设备、存储介质及程序产品（高校公示15天）（不包年费滞纳金）（需要二变）

本发明提供一种BERT模型的训练方法、系统、计算机设备、存储介质及程序产品，属于自然语言处理技术领域。其中方法包括利用预先构建的BERT模型以多个解码路径分别生成多个序列；将多个序列划分为正样本和负样本；利用参考模型对正样本和负样本进行采样，以构建偏好学习损失函数；构建正则惩罚项损失函数；构建掩码预测损失函数；根据偏好学习损失函数、正则惩罚项损失函数和掩码预测损失函数确定BERT模型的总损失，得到训练好的BERT模型。采用上述方案指导BERT模型学习不同解码路径对输出的影响，增强BERT模型在复杂解码空间中选择路径并生成更高质量序列的能力。

《BERT模型的训练方法、系统、计算机设备、存储介质及程序产品（高校公示15天）（不包年费滞纳金）（需要二变）》是一发明专利，专利号为 2024114611521，当前法律状态为已下证，由苏州大学提出申请，发明人为肖义胜;梁小波;贾科航;李俊涛;张民，申请日期为2024-10-18，公开（公告）日期为2025-12-09，国际专利分类号（IPC）为 G06F 18/214 (2023.01)，高新资质：未报高企。该专利已下发证书，权利稳定，适合直接办理转让过户，是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更（过户）的一站式专利转让服务，专业顾问全程协助，确保交易合规、安全、高效。专利摘要：本发明提供一种BERT模型的训练方法、系统、计算机设备、存储介质及程序产品，属于自然语言处理技术领域。其中方法包括利用预先构建的BERT模型以多个解码路径分别生成多个序列；将多个序列划分为正样本和负样本；利用参考模型对正样本和负样本进行采样，以构建偏好学习损失函数；构建正则惩罚项损失函数；构建掩码预测损失函数；根据偏好学习损失函数、正则惩罚项损失函数和掩码预测损失函数确定BERT模型的总损失，得到训练好的BERT模型。采用上述方案指导BERT模型学习不同解码路径对输出的影响，增强BERT模型在复杂解码空间中选择路径并生成更高质量序列的能力。

海量优质专利即买即用，四大核心优势助您弯道超车：
🏆 拿资质，享红利：高企认定、专精特新必备！轻松获取政府补贴、税收减免，招投标直接加分！
💎 增信誉，融资金：支持实缴注册资金，彰显企业硬实力；支持专利质押贷款，盘活现金流，扩张不缺钱！
🔥 强背书，防抄袭：印上“专利产品”，客户更信赖！构建技术壁垒，把竞争对手挡在门外，稳占市场份额！
🚀 省时间，快变现：告别漫长研发与高风险！优质专利即买即用，让技术立刻变成真金白银的利润！