#序列建模

共 1 篇文章

搜广推论文

统一精排阶段的特征交叉和序列建模(OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender)

使用一个 Transformer 模块统一建模非序列特征(特征交叉)和序列特征(序列建模),使得两种特征可以更好地交互,并且借助 LLM 的各种优化手段(kv cache、flash attention、混合精度训练、激活值重计算等)减少推理延迟。