Post

字节正在讨论要训练一个参数规模超过5万亿的模型，也就是说超过阿里的 Qwen 3.8-Max（2.4 万亿参数）和月之暗面的 K3（2.8 万亿参数），是目前国内已知参数规模最大的模型。 这是天大的好事啊！说明中国AI已经开始重新进入scaling竞争了，过去一年都是美国靠算力，中国靠效率，比如 DeepSeek 强调低成本训练，比如搞搞蒸馏、搞搞小模型，走高性价比路线，比如采用 MoE 架构降低推理成本这些 字节这个行为说明，中国头部公司并没有放弃大规模scaling，要在效率优先之外重新追求绝对规模。或许是因为原来算力不足，所以研究怎么用更少算力达到更好效果。但现在货拖得差不多了，在资源允许的情况下，咱们也要挑战最大规模模型了！