炼丹技巧

通过引入梯度噪声来对模型正则化，从而增加模型的泛化性和鲁棒性，代价是训练速度成倍下降。具体哪一种对抗训练方式有效，需要根据具体的任务进行验证。

通过EMA方法对模型的参数做指数移动平均，从而提高测试指标并增加模型鲁棒性。