在深度学习模型的训练中，使用大型数据集至关重要，但这些数据集往往存在标签噪声，这会显著影响模型在测试集上的分类效果。为了解决这一问题，来自Yildiz技术大学的Enes Dedeoglu、H. Toprak Kesgin和M. Fatih Amasyali教授的研究团队提出了一种创新的方法，称为Adaptive-k，该方法优化了训练过程，并在标签噪声存在的情况下取得了更好的效果。他们的研究成果于2024年8月15日发表在《计算机科学前沿》杂志上，由高等教育出版社与施普林格·自然共同出版。
Adaptive-k方法通过自适应选择用于更新的样本数量，能够更有效地识别和分离噪声样本，从而提升在标签噪声数据集上的训练成功率。这一方法简单易行，无需事先了解数据集的噪声比例，也不需要额外的模型训练或显著延长训练时间。Adaptive-k展现了其潜力，能够达到接近Oracle方法的性能，彻底改变了深度学习模型在噪声数据集上的训练方式，甚至在噪声样本完全被排除的情况下。
在研究中，团队将Adaptive-k与其他常见算法（如Vanilla、MKL、Vanilla-MKL和Trimloss）进行了比较，并评估了其在Oracle场景下的表现，其中所有噪声样本都是已知并被排除的。通过在三个图像数据集和四个文本数据集上的实验，结果表明Adaptive-k在处理标签噪声数据集时始终表现优越。此外，Adaptive-k方法与多种优化器（如SGD、SGDM和Adam）兼容。
本研究的主要贡献包括：
• 提出了Adaptive-k，这是一种针对标签噪声数据集的鲁棒训练新算法，易于实现，无需额外的模型训练或数据增强。
• 对Adaptive-k进行了理论分析，并与MKL和SGD算法进行了比较。
• 使用Adaptive-k进行高精度的噪声比估计，无需事先了解数据集或进行超参数调整。
• 在多个图像和文本数据集上，Adaptive-k与Oracle、Vanilla、MKL、Vanilla-MKL和Trimloss算法进行了实证比较。
未来的研究将致力于进一步改进Adaptive-k方法，探索其在其他领域的应用，并持续提升其性能。
本文来自作者[svs]投稿，不代表立场，如若转载，请注明出处：http://wengdou.cn/post/5918.html
评论列表（4条）
我是的签约作者“svs”！
希望本篇文章《自适应k：噪声数据集的鲁棒训练方法＂(真的有挂)-知乎》能对你有所帮助！
本站[]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： 在深度学习模型的训练中，使用大型数据集至关重要，但这些数据集往往存在标签噪声，这会显著影响模型在测试集上的分类效果。为了解决这一问题，来自Yildiz技术大学的Enes D...