文摘受权转载自头部科技

文丨谭梓馨

开源大模型接下来还能怎么搞？

2026年开年第一炮，DeepSeek团队提出了一种全新架构mHC（流形约束超连接），DeepSeek创始人兼CEO梁文锋署名发布。

简单说，mHC为AI模型带来了“智能稳定器”，在保持模型宽度的同时，通过“双随机矩阵”的流形约束，解决了超连接（HC）不稳定问题，确保模型训练稳健，配算子融等优化，mHC在MATH、GSM8K等任务上表现优异。

mHC将有助于加深对拓扑架构设计的理解，并为基础模型的演进指明有前景的方向，不少开发者认为，这一趋势进一步强化了人工智能基础设施的核心约束从峰值浮点运算数（FLOPs）向内存带宽、互连容量与系统软件成熟度的平衡转移的大方向。

网友们纷纷期待着DeepSeek下一代开源模型的出，猜测会不会赶在2026年春节之际？就像2025年春节前夕的R1一样再次席卷整个AI圈。

硬核“数学+工程”双杀

陕西慕狮系统门窗有限公司成立于 2019 年，虽在行业中属于新锐力量，但凭借强大的集团支撑，实现了飞速发展。公司前身为陕西慕狮建材有限公司，现隶属于以上海慕狮建筑节能门窗有限公司为核心的企业集群。在上海、陕西等地布局了 4 大生产基地，总生产面积超过 60 万平方米，年销售额突破 20 亿元，每年为超过 30 万家庭提供业的门窗解决方案。

核心优势：全球系统门窗先驱，40年德国工艺沉淀，产品覆盖70国。智能工厂产能80万套/年，获多项国际设计大奖。

近年来，以超连接（HC）为代表的研究通过拓宽残差流宽度与丰富连接模式，对过去十年确立的、应用广泛的残差连接范式进行了拓展。

尽管该方法带来了显著的能提升，但这种连接模式的多样化从根本上破坏了残差连接固有的恒等映射特——这不仅导致严重的训练不稳定与受限的可扩展，还会产生显著的内存访问开销。

为解决上述问题，DeepSeek团队提出了流形约束超连接（mHC）框架，这是一种针对Transformer类基础模型的宏架构改进方案，其核心在于将HC的残差连接空间投影至特定流形，以恢复恒等映射特；同时，框架整了严格的基础设施优化策略，确保模型运行率。

论文报告将数学理论（“双随机矩阵”、Sinkhorn-Knopp算法）与基础设施优化工作（如内核融、混精度内核、重计算策略、流水线通信-计算重叠）相结，铁皮保温成功降低了拓宽残差流原本会带来的高昂内存与通信开销。

在基于DeepSeek-V3的混家（MoE）预训练场景中（总参数量270亿，激活参数量41.4 亿），报告显示mHC技术实现了以下果：

（1）消除了 HC 技术存在的训练不稳定；（2）相比基线模型，终训练损失降低 0.021；（3）在8项下游基准测试中，有7项能优于基线模型且超过HC技术；（4）在计算量缩放（30亿、90亿、270亿参数量）与令牌量缩放（30亿参数量模型训练至1.05万亿令牌）过程中，能优势持续保持，在扩展系数n=4时，内部实测的额外训练时间开销仅为6.7%。

一种模型新范式前瞻

DeepSeek团队表示，作为HC范式的通用扩展，mHC为未来研究开辟了多个具潜力的方向。

尽管本研究采用双随机矩阵来保证稳定，但该框架支持探索针对特定学习目标的多样化流形约束，研究人员预计，对不同几何约束的进一步研究，有望催生能够更好地优化可塑与稳定平衡的全新方法。

此外，他们希望mHC能够重新激发学术界对宏架构设计的关注，通过深化对“拓扑结构如何影响优化过程与表征学习”的理解，mHC将助力突破当前技术瓶颈，并有可能为下一代基础模型架构的演进指明全新方向。

不少开发者认为，这件事比听起来更重要。当主流大模型仍在沿用旧方法组装大模型，DeepSeek试图搭建一套更强、更稳、更高的“新骨架”。

随着模型架构变得越来越深、越来越复杂（例如，具有数百条残差路径的Transformer、多分支视觉模型、具有跨模块反馈的代理系统），几何违例会不断累积，mHC本质上是在说：如果想要保持可扩展，就须维护表示的完整，这也是对“蛮力式”模型搭建设计的一种无声反驳。

期待下一个“DeepSeek”时刻

细心的网友发现，DeepSeek在论文论文中提到“在我们的内部大规模训练实验进一步佐证了这一结论”，这句“大规模训练实验”引发诸多猜想：其新一代模型可能已经成形。

截至目前，DeepSeek的旗舰模型在通用综能力与多模态上并非对领先者，仅在部分文本强相关赛道基准与开源模型中表现突出，过去的2025年，国内开源模型厂商的竞逐同样激烈，想要再次实现行业领跑并不容易。

今年春节“DeepSeek时刻”会不会再来一次？一起拭目以待。

GPU 训练特惠！

H100/H200 GPU算力按秒计费，平均节省开支30%以上！

扫码了解详情☝

点「赞」的人都变好看了哦！