#多模态对齐

个性化搜索中的知识-动作对齐（KARMA: Knowledge-Action Regularized Multimodal Alignment for Personalized Search at Taobao）

使用LLM对个性化搜索进行语义增强时会遇到Knowledge-Action Gap问题。LLM 预训练获得的丰富语义知识与个性化任务中的判别性目标存在内在冲突。淘宝团队提出了KARMA，将语义重建作为训练时的正则化器，让表征不仅能与用户行为对齐，还能保持语义可解码性。