基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备(不用二变)
本发明涉及自然语言处理、深度学习、多模态情感分析领域,涉及一种基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备,所述方法包括使用ERNIE2.0预训练模型、DCCN、ResNet‑152和胶囊网络分别对文本、音频、图像提取出单模态低级特征;使用词对齐对三个模态特征进行对齐;采用双向GRU对上述特征进行处理,得到各模态高级特征;利用跨模态动态卷积对三个模态特征进行交互;拼接各个模态的跨模态交互特征和高级特征,并利用多头注意力机制融合;最后输入到softmax函数中得到情感识别结果;本发明很好的融合了各单模态特征,有效挖掘视频中所表达的情感信息,从而提升了多模态情感识别的准确率及效率。
《基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备(不用二变)》是一发明专利,专利号为 2022100672427,当前法律状态为已下证,由重庆邮电大学提出申请,发明人为郭艳霞;唐宏;金勇;彭金枝,申请日期为2022-01-20,公开(公告)日期为2026-07-17,国际专利分类号(IPC)为 G06V 40/16 (2022.01),高新资质:未报高企,所属技术领域包括:人工智能、自然语言处理、深度学习、多模态情感分析、文本分类、音频处理、图像处理、视频处理、智能客服、在线教育、情绪感知、AI算法。该专利已下发证书,权利稳定,适合直接办理转让过户,是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更(过户)的一站式专利转让服务,专业顾问全程协助,确保交易合规、安全、高效。专利摘要:本发明涉及自然语言处理、深度学习、多模态情感分析领域,涉及一种基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备,所述方法包括使用ERNIE2.0预训练模型、DCCN、ResNet‑152和胶囊网络分别对文本、音频、图像提取出单模态低级特征;使用词对齐对三个模态特征进行对齐;采用双向GRU对上述特征进行处理,得到各模态高级特征;利用跨模态动态卷积对三个模态特征进行交互;拼接各个模态的跨模态交互特征和高级特征,并利用多头注意力机制融合;最后输入到softmax函数中得到情感识别结果;本发明很好的融合了各单模态特征,有效挖掘视频中所表达的情感信息,从而提升了多模态情感识别的准确率及效率。
海量优质专利即买即用,四大核心优势助您弯道超车:
🏆 拿资质,享红利:高企认定、专精特新必备!轻松获取政府补贴、税收减免,招投标直接加分!
💎 增信誉,融资金:支持实缴注册资金,彰显企业硬实力;支持专利质押贷款,盘活现金流,扩张不缺钱!
🔥 强背书,防抄袭:印上“专利产品”,客户更信赖!构建技术壁垒,把竞争对手挡在门外,稳占市场份额!
🚀 省时间,快变现:告别漫长研发与高风险!优质专利即买即用,让技术立刻变成真金白银的利润!
