手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
冷暴力恐怖份子 弹琴不谈情 荒岛求生后假千金爆火了 华娱：导演的快乐就这么简单 夜之牙一 倾世狂妃：驯服腹黑王爷 JULIET 反派手挽手，八零抖一抖 西有鹿鸣 莫名其妙爱上你 来自宇宙的情书 你要不要跟我告白 忘记 我不花心，只是多情 巧克力女孩 狂舞巔峰 黑天使 无解 娱乐：让你上台卖惨，没让你笑场 桂林山水甲阳朔
福运农女：夫君，请多指教
书海阁小说网免费提供作者辛尘的经典小说福运农女夫君，请多指教最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临wwwshgtw观看小说福运农女夫君，请多指教贫困小农女，未婚夫是靠不住的，只能自力更生靠记忆发家赚大钱。...
网游之我是武学家
你是战士，攻高防高？看我反抓摔投，拳拳到肉。你是刺客，身如鬼魅？看我以静制动，一招制敌。你是法师，火力十足？对不起，有没有听说过天下武功，唯快不破？哥不是针对某个人，而是说在座的所有人，都是垃圾！QQ群791460157欢迎大家加入...
挚若真真念情深
消失四年的夏知若突然回来了，对待感情她只有八个字无欲无求，不敢奢求对于钱财，她也有八个字四季发财，多多益善。本想事情结束之后离开，可季庭深的出现是个意外。直到第N次后，季庭深忍无可忍地将她抵在墙角，夏秘书，帮我做了那么多事，我觉得应该给你奖励。夏知若真的吗，季总打算给我什么？季庭深别的没有，人倒是有一个。夏知若！！人就不用了，给钱就行？季庭深一脸黑线我还...
天降宠婚：霸总不好惹
她是被遗弃的私生女，他是北城只手遮天的霸道总裁，一次偶然的相遇，她无可救药的爱上了他，从此，所有的努力都只为了能离他近些。...
穿越之我的身边都是大佬
搜小说免费提供作者景岩的经典小说穿越之我的身边都是大佬最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临观看小说这原本是一个穿越复仇的故事，可星瑜穿越后，时空裂缝并没有被修补，导致第三世界开始混乱。于是，她复仇还未完成，还得解决第三世界的问题。她小小的身板，如何担负得起如此重任。然而，她还在苦恼时，大佬们开始催促她。小魔王娘，你要努力啊，世界需要你。陆廷璟娘子，我们一起努力。嗷呜，嗷呜。小炎心道，这两人真笨。它跳到了星瑜怀里，时不时地蹭一蹭她的脸颊，十足的讨好。星瑜还是我家小炎小宝贝好。...
野蛮学姐，小鲜肉接招吧！
搜小说免费提供作者楚清的经典小说野蛮学姐，小鲜肉接招吧！最新章节全文阅读服务本站更新及时无弹窗广告欢迎光临观看小说大三女汉子学姐相中了大一刚入校的萌宠高冷小学弟，为了得到小鲜肉，学姐也是蛮拼的！新生欢迎会，学姐跳上舞台，向全校师生，霸道的宣布，我要让全上海滩的人都知道，聂岑是我充话费送的！他的鱼塘，我白央承包了！台下哗然一片，小鲜肉窘迫的无地自容，学姐，此刻上海人民的内心几乎是崩溃的想当然，小鲜肉誓死不从，学姐穷追猛打，高调的表白信纸，贴满大学每一个旮旯犄角！校报记者采访聂岑同学，请问一米八的你...