admin 管理员组

文章数量: 1184232

VX: shixiaodayyds，备注【即插即用】，添加即插即用模块交流群。

文章目录

  • 模块出处
  • 模块介绍
  • 模块提出的动机（Motivation）
  • 适用范围与模块效果
  • 模块代码及使用方式

模块出处

Paper：SepViT: Separable Vision Transformer

Code：https://github/liwei109/sepvit

模块介绍

SepViT以及SepAttn架构：

SepAttn核心创新点：双分支分离注意力设计，突破传统自注意力 “局部 - 全局” 耦合的局限，拆分为独立分支。DSA按固定窗口划分特征，仅计算窗口内局部关联，PSA（点自注意力）以窗口令牌为载体，计算窗口间全局关联，避免全局注意力的冗余计算。最后，包装成Grouped Self-Attention (GSA)和Depthwise Separable Self-Attention(DSSA)。

模块提出的动机（

本文标签： 即用 分支 注意力 即插 模块

版权声明：本文标题：【即插即用模块】Transformer篇 | ArXiv 2023 | SepAttn：双分支可分离自注意力，猛涨2个点！ 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1765755321a3412090.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。