一种大语言模型下的动态推理方法和系统

针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。

《一种大语言模型下的动态推理方法和系统》是一发明专利，专利号为 2024115664545，当前法律状态为已下证，由中国计量大学提出申请，发明人为程旭东;胡益;余鸿皓;胡传杰;董志成;任杭良;徐前程;金晶;薛振宇，申请日期为2024-11-05，公开（公告）日期为2025-03-18，国际专利分类号（IPC）为 G06F 40/289 (2020.01)，高新资质：未报高企，所属技术领域包括：25年下证人工智能信息安全网络攻击安全存储医疗软件医院软件数据传输移动通信工业物联网边缘计算服务器人工智能大数据安全无线网络金融交易支付区域链无线电通信互联网无线通信网络数据人工智能大数据数据运算网络维度金融交易支付ETC认证支付宝股票收费物流供应链电商跨境电商外贸。该专利已下发证书，权利稳定，适合直接办理转让过户，是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更（过户）的一站式专利转让服务，专业顾问全程协助，确保交易合规、安全、高效。专利摘要：针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。

海量优质专利即买即用，四大核心优势助您弯道超车：
🏆 拿资质，享红利：高企认定、专精特新必备！轻松获取政府补贴、税收减免，招投标直接加分！
💎 增信誉，融资金：支持实缴注册资金，彰显企业硬实力；支持专利质押贷款，盘活现金流，扩张不缺钱！
🔥 强背书，防抄袭：印上“专利产品”，客户更信赖！构建技术壁垒，把竞争对手挡在门外，稳占市场份额！
🚀 省时间，快变现：告别漫长研发与高风险！优质专利即买即用，让技术立刻变成真金白银的利润！