字节跳动开源LightSeq训练加速引擎，打通Transformer模型部署全流程

6月28日，字节跳动火山翻译团队宣布推出LightSeq训练加速引擎，并向全球开发者开源。

Transformer是自然语言处理、计算机视觉等AI技术领域最常用的基础模型，被广泛应用在机器翻译、文本生成、文本摘要、图像处理、时间序列预测等任务中。2019年底，火山翻译团队开源了LightSeq推理加速引擎。此次开源LightSeq训练加速引擎，打通了Transformer模型从训练到推理部署的整个流程。

据火山翻译团队介绍，LightSeq训练加速引擎能够支持Transformer的完整加速，从词嵌入层、编码层、解码层，到最后的损失函数层，业内首次实现了全流程支持。并且在训练速度方面，相比主流的序列生成库，LightSeq训练加速引擎最快只需要三分之一的时间即可完成训练。

此外，LightSeq训练加速引擎提供了多种二次开发工具，用户可通过插入自定义层或修改命令行参数等方式，在各大训练库上使用LightSeq。火山翻译团队负责人表示，字节跳动把LightSeq系列项目开源，与各界共享技术成果，以帮助广大科研人员节约时间成本、为学术界和产业界提供支持。

除LightSeq外，字节跳动还开源了机器学习平台Klever、联邦学习平台Fedlearner、高性能分布式训练框架BytePS等项目。

字节跳动成立于2012年3月，其旗下产品有今日头条、西瓜视频、抖音、火山小视频、皮皮虾、懂车帝、悟空问答等。而火山引擎是字节跳动旗下品牌，该品牌基于大数据、人工智能和基础服务等技术能力，为企业提供数字化服务解决方案。其产品火山翻译，具备文本翻译、语音翻译、视频翻译、图片翻译等能力，可供开发人员集成使用。