Telegram机器人多模态交互优化

佘恬静提问于06月11日

电报机器人多模态交互的注意力机制融合

说的对，多模态融合的关键就在于注意力机制。就是训练机器人学会“看重点”。图文混杂时，用交叉注意力来决定哪类信息更重要。试试ViT+Transformer，视觉、文本注意力权重动态变化。