AI风向标
Dwarkesh Patel 研究：预训练进步主要来自数据改进
Dwarkesh Patel 发布实验分析，在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料，发现数据改进带来 12.0x 算力效率提升，模型改进为 3.7x，数据贡献约为模型的 3.24 倍。
详细介绍
Dwarkesh Patel 发布实验分析，在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料，发现数据改进带来 12.0x 算力效率提升，模型改进为 3.7x，数据贡献约为模型的 3.24 倍。
AI HOT 详情：https://aihot.news/items/cmtsx0wm4041jrob5liwjypsq
原文链接：https://www.dwarkesh.com/p/pretraining-progress-is-mostly-data