admin 管理员组

文章数量: 1184232

论文概要:

          这篇名为《Bootstrap Your Own Latent》的论文提出了一种新的自监督学习算法BYOL，用于图像表示的学习。BYOL通过在线网络和目标网络的相互学习，不依赖负样本对来学习图像的表征。主要特点包括：

  1. 在线和目标网络：BYOL使用两个神经网络，分别是在线网络和目标网络。在线网络预测目标网络在不同视角下的图像表示，而目标网络的权重是在线网络权重的慢速移动平均值。这种方法避免了现有对比学习方法中使用负样本对的问题。

  2. 训练过程：BYOL从同一图像的不同视角（经过数据增强后）生成两个视图，在线网络从其中一个视图学习预测目标网络的输出表征。目标网络的权重更新是通过对在线网络的权重进行指数移动平均来完成的。

  3. 性能：BYOL在ImageNet数据集上的表现超过了其他自监督和对比学习方法。在ResNet-50架构下，它达到了74.3%的Top-1分类准确率，使用更大的ResNet模型达到了79.6%的准确率。BYOL在多种半监督学习和迁移学习任务中表现也优于现有的最先进方法。在ImageNet分类任务中，BYOL和MoCo都取得了非常好的性能，但BYOL通常表现更优。根据BYOL论文中的实验结果，在ResNet-50架构下，BYOL在ImageNet上达到了 74.3% 的Top-1分类准确率，而MoCo v2的Top-1准确率为 71.1%。这是一个显著的提升。

  4. 贡献：

    • 提出了一个无需负样本对的自监督学习方法。
    • BYOL在图像分类任务中实现了最先进的性能，同时更具鲁棒性。
    • 它在数据增强、批大小的选择上也表现出了较高的鲁棒性

问题定义

本文标签： 样本 bootstrap LatentA learning Supervised

版权声明：本文标题：[无需负样本的对比学习]Bootstrap Your Own LatentA New Approach to Self-Supervised Learning 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1763631149a3256323.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。