TG机器人情感分析的BERT微调学习率设置

TG机器人心情感参调优要点：1. 初学者优先使用默认学习率5e-5，90%问题够用了。2. 如果loss不下降，可以尝试3e-5或者2e-5，不要盲目调高。3. warmup_steps设置总步数的10%。4. 使用adamW优化器时注意weight_decay一般为0.01开始。一次不要改太多参数，单变量调试最稳妥。

学习率建议从5e-5开始，先跑3~5轮看看效果再调整。下降慢的话可以适当调高；震荡大就降低。记得打开warmup，不能上来就满速训练啊！

学习率调小一点，2e-5~5e-4之间，先用默认参数跑一遍，再调整。不要太大，容易过拟合。