【DeepSeek发布梁文锋署名新论文：提出mHC新架构提升大模型训练稳定性】金色财经报道，DeepSeek发布新论文，提出了一种名为流形约束超连接（mHC）的新架构，旨在解决超连接网络（HC）技术因破坏恒等映射特性而导致的训练不稳定和可扩展性受限等问题。该架构通过将HC的残差连接空间映射至特定流形以恢复恒等映射特性，同时结合严格的基础设施优化以确保效率，实现了显著的性能改进和优越的可扩展性。DeepSeek预计，mHC作为HC的一种灵活实用拓展，将有助于更深入地理解拓扑架构设计，并为基座模型的演进指明有前景的方向。该论文由Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao共同担任第一作者，梁文锋也在作者名单之中。（金十）
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
