TelegramAI回复训练数据优化

撒江雪提问于05月31日

想给机器人添加AI回复，但训练数据过大被限流，Token计算规则是什么？

Token是按字符切分的最小单位，英文1词≈1个token，中文1字≈1~2个token，大模型训练时会把标点、数字、专有名词单独切分。可能你的数据量过大或重复内容过多导致限流。