雷锋网 AI 科技评论按：刚刚，在 Github 上发布了开源 Pytorch-Transformers 1.0，该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。 我们来看。 哪些支持 ...

Souminth Chintala 担心 Transformer 可能导致人工智能碰壁。 2017 年 Transformer 首次亮相，便迅速在 AI 领域扩散开来，CV、NLP 等任务都有其身影，越来越多的研究人员投入其中。 要说 Transformer 有多厉害，比如 OpenAI 重磅推出的 GPT-3，就是基于 Transformer 实现的。至于传播 ...

最近，来自港科大和开源社区团队推出了 S t arV LA 开放研究平台。与其说他们创造了一个全新的 VLA 模型，不如说他们做了一件更 “基础设施” 的事： 将当前主流的 VLA ...

随着生成式AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制，由于其 ...

本文深入探讨Transformer模型中三种关键的注意力机制：自注意力、交叉注意力和因果自注意力。这些机制是GPT-4、Llama等大型语言模型（LLMs）的核心组件。通过理解这些注意力机制，我们可以更好地把握这些模型的工作原理和应用潜力。 我们不仅会讨论理论概念 ...

糖尿病视网膜病变（DR）自动筛查中，基于Transformer的模型（包括纯Transformer和CNN-Transformer混合架构）通过高斯滤波和CLAHE预处理提升图像质量，ConvNeXt-Transformer Hybrid模型达到93.14%准确率，证明混合架构在捕捉复杂视网膜细节方面具有临床实用价值。 糖尿病视网膜 ...

LLM推理已经顶尖，精确计算却跟不上。 这局怎么破？ 卡帕西点赞的解决方法来了，在大模型内部构建一台原生计算机。 新方法不搞外包那一套（不依赖任何外部工具），直接在Transformer权重里内嵌可执行程序。 并通过创新的2维注意力头设计，将大模型的推理 ...

PyTorch公开2024 H2发展路线图，增透明度。 【导读】最近，PyTorch团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。 如果你在AI领域用Python开发，想必PyTorch一定是你的老朋友之一。2017年，Meta AI发布了这个机器 ...

7项指标排名第一。 JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow，也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。 谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。