一种融合跨模态语义信息的视频摘要方法

本发明公开了一种融合跨模态语义信息的视频摘要方法，属于计算机视觉技术领域。所述方法首先从输入视频中提取图像帧序列和运动帧序列，然后利用跨模态特征提取网络分别提取静态特征和动态特征。接着，通过时空卷积关联注意力机制处理帧特征，生成反映帧特征时空重要性的注意力图，同时捕捉帧内空间信息和帧间时间信息。此外，引入跨模态动态融合模块和语义一致性校正器，以优化视频摘要生成过程，减少噪声干扰，提升摘要质量。最后，构建目标函数，通过无监督或监督学习训练视频摘要生成模型，根据预测的重要性分数生成动态视频摘要。所述方法综合利用视频中的静态和动态特征，提高了摘要的语义准确性和内容连贯性。

《一种融合跨模态语义信息的视频摘要方法》是一发明专利，专利号为 2025102489330，当前法律状态为已下证，由石家庄铁道大学提出申请，发明人为张云佐;肖遥舸;连玮琪;董彦磊;程煜;康尧星，申请日期为2025-03-04，公开（公告）日期为2025-06-10，国际专利分类号（IPC）为 G06V20/40(2022.01)I;G06V10/44(2022.01)I;G06V10/764(2022.01)I;G06V10/82(2022.01)I;G06N3/0464(2023.01)I，高新资质：未报高企，所属技术领域包括：图像通信技术领域。该专利已下发证书，权利稳定，适合直接办理转让过户，是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更（过户）的一站式专利转让服务，专业顾问全程协助，确保交易合规、安全、高效。专利摘要：本发明公开了一种融合跨模态语义信息的视频摘要方法，属于计算机视觉技术领域。所述方法首先从输入视频中提取图像帧序列和运动帧序列，然后利用跨模态特征提取网络分别提取静态特征和动态特征。接着，通过时空卷积关联注意力机制处理帧特征，生成反映帧特征时空重要性的注意力图，同时捕捉帧内空间信息和帧间时间信息。此外，引入跨模态动态融合模块和语义一致性校正器，以优化视频摘要生成过程，减少噪声干扰，提升摘要质量。最后，构建目标函数，通过无监督或监督学习训练视频摘要生成模型，根据预测的重要性分数生成动态视频摘要。所述方法综合利用视频中的静态和动态特征，提高了摘要的语义准确性和内容连贯性。

海量优质专利即买即用，四大核心优势助您弯道超车：
🏆 拿资质，享红利：高企认定、专精特新必备！轻松获取政府补贴、税收减免，招投标直接加分！
💎 增信誉，融资金：支持实缴注册资金，彰显企业硬实力；支持专利质押贷款，盘活现金流，扩张不缺钱！
🔥 强背书，防抄袭：印上“专利产品”，客户更信赖！构建技术壁垒，把竞争对手挡在门外，稳占市场份额！
🚀 省时间，快变现：告别漫长研发与高风险！优质专利即买即用，让技术立刻变成真金白银的利润！