过去几年间，Transformer 架构已经取得了巨大的成功，同时其也衍生出了大量变体，比如擅长处理视觉任务的 Vision Transformer（ViT）。本文要介绍的 Body Transformer（BoT） 则是非常适合机器人...

在人工智能领域，模型参数的增多往往意味着性能的提升。但随着模型规模的扩大，其对终端设备的算力与内存需求也日益增加。低比特量化技术，由于可以大幅降低存储和计算成本并提升推理效率，已成为实现大模型在资源受限设备上高效运行的关键技术之一。然而...

Mamba 虽好，但发展尚早。深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。如此成功的一大关键推动力是注意力机制，这能让基于 Transform...

矩阵很难理解，但换个视角或许会不一样。在学习数学时，我们常因所学知识的难度和抽象而受挫；但有些时候，只需换个角度，我们就能为问题的解答找到一个简单又直观的解法。举个例子，小时候在学习和的平方 (a+b)² 公式时，我们可能并不理...

8月19日，昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体，让创作者一键成剧，轻松制作高质量AI视频。这是一个2分半时长的短剧...