基于双证据增强与图文相似度感知的多模态谣言检测方法

本发明提出一种基于双证据增强与图文相似度感知的多模态谣言检测方法，该方法包括：利用预训练语言模型和预训练视觉模型分别提取待检测帖子的文本语义特征和图像视觉特征；利用ELA挖掘图像中的潜在篡改痕迹；对帖子图片通过反向搜索得到相关新闻报道，利用帖子文本进行搜索并筛选相关图片，并通过交叉注意力机制实现证据与待验证帖子的交互对齐；利用EGTR算法和Flan‑T5模型，分别将图像和文本转换为视觉场景图和文本场景图；通过知识蒸馏提取相关背景知识；通过改进的图注意力网络对场景图进行学习。本发明设计了一种基于门控神经网络的特征分层融合方法，实现特征的自适应融合，并将融合后的特征输入多层感知机进行结果分类。

《基于双证据增强与图文相似度感知的多模态谣言检测方法》是一发明专利，专利号为 2024118803802，当前法律状态为已下证，由江西财经大学提出申请，发明人为黄学坚;胡家峰;张慧娟;张皓洋;朱圣宇;陈云芳;周翔;温伶惠，申请日期为2024-12-19，公开（公告）日期为2025-04-11，国际专利分类号（IPC）为 G06F 18/22 (2023.01)，高新资质：未报高企，所属技术领域包括：自然语言处理，人工智能，网络信息安全，大数据分析，大数据挖掘，社交平台监测，舆情监测，谣言治理，社交媒体内容审核，多媒体，短视频/社交平台AI风控，OCR识别。该专利已下发证书，权利稳定，适合直接办理转让过户，是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更（过户）的一站式专利转让服务，专业顾问全程协助，确保交易合规、安全、高效。专利摘要：本发明提出一种基于双证据增强与图文相似度感知的多模态谣言检测方法，该方法包括：利用预训练语言模型和预训练视觉模型分别提取待检测帖子的文本语义特征和图像视觉特征；利用ELA挖掘图像中的潜在篡改痕迹；对帖子图片通过反向搜索得到相关新闻报道，利用帖子文本进行搜索并筛选相关图片，并通过交叉注意力机制实现证据与待验证帖子的交互对齐；利用EGTR算法和Flan‑T5模型，分别将图像和文本转换为视觉场景图和文本场景图；通过知识蒸馏提取相关背景知识；通过改进的图注意力网络对场景图进行学习。本发明设计了一种基于门控神经网络的特征分层融合方法，实现特征的自适应融合，并将融合后的特征输入多层感知机进行结果分类。

海量优质专利即买即用，四大核心优势助您弯道超车：
🏆 拿资质，享红利：高企认定、专精特新必备！轻松获取政府补贴、税收减免，招投标直接加分！
💎 增信誉，融资金：支持实缴注册资金，彰显企业硬实力；支持专利质押贷款，盘活现金流，扩张不缺钱！
🔥 强背书，防抄袭：印上“专利产品”，客户更信赖！构建技术壁垒，把竞争对手挡在门外，稳占市场份额！
🚀 省时间，快变现：告别漫长研发与高风险！优质专利即买即用，让技术立刻变成真金白银的利润！