admin 管理员组

文章数量: 1184232

CentralNet相比于Concatenate的创新点

Concate的方法相当于在各自模态的特征分别独立抽取之后做融合，但是不干预特征抽取的过程。这显然会漏掉一些不同模态之间的相关性的信息，比如，一个人尖叫的视频片段，里面有人的嘴巴长得很大的这种视觉特征，也会有尖叫声这种声音特征，这两种特征出现的时间都是相关连的。如果在抽取特征的过程中，相互有一个监督或者借鉴的关系，那样应该会更好，这是CentralNet提出的动机。CentralNet把两个可以独立在各自模态做出判断的网络的中间层联系起来，利用联合多任务训练来优化，最后也得到了不错的结果。



参考文章：
CentralNet做多模态融合

本文标签： 论文 CentralNet Multilayer fusion Multimodal

版权声明：本文标题：【论文阅读】CentralNet: a Multilayer Approach for Multimodal Fusion 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1763632201a3256408.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。