一种基于深度融合的多粒度图像-文本匹配方法及系统（人工智能AI、 神经网络、大模型、图文跨模态检索、电商、社交媒体、智能问答 短视频）

本申请公开了一种基于深度融合的多粒度图像‑文本匹配方法及系统，方法包括：将待匹配图像进行多粒度视觉编码，得到编码后图像；将待匹配文本进行多粒度视觉编码，得到编码后文本；基于编码后图像和编码后文本训练编码器，得到初始编码器；对初始编码器进行深度融合，得到跨模态编码器；对跨模态编码器进行训练，得到最终模型，利用最终模型完成图像和文本的匹配。本申请利用模态内和模态间的特征来训练不同的编码器，避免两者之间的相互干扰，从而有效的学习个模态的特征表示，同时降低了对算力资源的要求。采用了深度融合的方法，更加充分的学习不同模态间复杂的关联。在多粒度视觉编码器训练过程中，引入硬负对，以提高检索时的匹配精度。

《一种基于深度融合的多粒度图像-文本匹配方法及系统（人工智能AI、 神经网络、大模型、图文跨模态检索、电商、社交媒体、智能问答 短视频）》是一发明专利，专利号为 2023110634534，当前法律状态为已下证，由广东技术师范大学提出申请，发明人为郑伟;韩娜;钟君慧，申请日期为2023-08-23，公开（公告）日期为2024-11-01，国际专利分类号（IPC）为 G06F 16/332 (2019.01)，高新资质：未报高企，所属技术领域包括：模式识别 语义对齐 计算机视觉 自然语言处理 多模态学习 跨模态检索 深度学习 视觉语言 特征融合 Transformer 对比学习 信息检索 以文搜图 智能相册检索 多模态推荐系统 图文内容审核 机器人视觉语言 多模态搜索引擎 教育图文检索 数字博物馆检索 素材库检索 多模态大模型微调 图像文本理解。该专利已下发证书，权利稳定，适合直接办理转让过户，是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更（过户）的一站式专利转让服务，专业顾问全程协助，确保交易合规、安全、高效。专利摘要：本申请公开了一种基于深度融合的多粒度图像‑文本匹配方法及系统，方法包括：将待匹配图像进行多粒度视觉编码，得到编码后图像；将待匹配文本进行多粒度视觉编码，得到编码后文本；基于编码后图像和编码后文本训练编码器，得到初始编码器；对初始编码器进行深度融合，得到跨模态编码器；对跨模态编码器进行训练，得到最终模型，利用最终模型完成图像和文本的匹配。本申请利用模态内和模态间的特征来训练不同的编码器，避免两者之间的相互干扰，从而有效的学习个模态的特征表示，同时降低了对算力资源的要求。采用了深度融合的方法，更加充分的学习不同模态间复杂的关联。在多粒度视觉编码器训练过程中，引入硬负对，以提高检索时的匹配精度。

海量优质专利即买即用，四大核心优势助您弯道超车：
🏆 拿资质，享红利：高企认定、专精特新必备！轻松获取政府补贴、税收减免，招投标直接加分！
💎 增信誉，融资金：支持实缴注册资金，彰显企业硬实力；支持专利质押贷款，盘活现金流，扩张不缺钱！
🔥 强背书，防抄袭：印上“专利产品”，客户更信赖！构建技术壁垒，把竞争对手挡在门外，稳占市场份额！
🚀 省时间，快变现：告别漫长研发与高风险！优质专利即买即用，让技术立刻变成真金白银的利润！