多模态注意力机制实践

朋德润提问于06月11日

TG机器人多模态输出的注意力权重

多模态注意力权重调整，核心思想是动态分配给输入模态权重。可以尝试：1）设计可学习参数，计算图文权重比例；2）引入门控机制，控制图文信息参与度；3）通过强化学习，反向优化权重。