手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。
云清霜 他以薄情付流年 婉拒阎王三千次 董小宛 病娇夫君是大佬 男神，笔记借我 今天也在做满分才女[古穿今] 老师，他想到黑板上做题 你是我的肺 爱神爱作怪系列 赢家 我在女尊国养人鱼 星际之生而为零3帝国的荣耀 暴君刘璋 婚不守舍 不要和奸臣谈恋爱 日久才情深[娱乐圈] 女主家的异能总是失控[末世] 恩怨江湖 医妃总想带球跑
长生从照顾嫂嫂开始
赶海捕鱼赚灵石照顾嫂嫂刷熟练度，生活系长生类修仙。本书又名长生从捕鱼开始我真不是草贼。心急吃不了热豆腐。因为有前戏，有铺垫。答应我，往后看，绝对有你们想看的内容。我认真写，你们闲暇时解闷，希望能博君一乐，谢谢！各位书友要是觉得长生从照顾嫂嫂开始还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦！长生从照顾嫂嫂开始...
从钢铁侠开始做评测
关于从钢铁侠开始做评测我，李平凡，一个出道即将面临失业的评测视频主播。睡醒一觉后，和一个自称万界评测系统的黑科技签了约，成了实习万界评测师。你敢信，我所评测的钢铁侠装甲只不过是个弟弟而已，什么天气控制仪纳米机器人法宝飞剑空间跳跃门星球登录器太空行走服，都是经由我手评测的产品。好比现在，有着数亿观众同时在线的直播间里，即将迎来今天的评测节目。大家好，我是万界评测师，今天我将为大家带来的评测产品为虫洞制造机...
肉身横推你管这叫亡灵法师
乔榆进入元宇宙里世界，获得了隐藏职业亡灵法师。奈何开局智力精神都为0，还抽到了一个十分奇怪的天赋。乔榆一怒之下，属性点全部加力量！看着一拳打死世界之蛇耶梦加得的乔榆，里世界的玩家都疯了。大哥，求求你别跟人肉搏了！你是一位亡灵法师啊！求求你召唤个亡灵吧！这哪是亡灵法师，这踏马是六边形战士啊！各位书友要是觉得肉身横推你管这叫亡灵法师还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦！肉身横推你管这叫亡灵法师...
法师奥义
只要能够构建一个稳定的法术模型，任何人都可以成为法师！这就是法师的终极奥义！穿越成为贵族之子，带着前世的超级量子计算机，法术模型信手拈来...
总裁爹地宠上天
关于总裁爹地宠上天盛传厉氏的总裁高富帅占了两样，缺的那一‘帅’是因为他太丑，不敢示人。没想到身边多了一个女人后，厉总裁的喜好彻底变了。每天都要牵着小女人的手逛逛街，看看电影。必要时伸手掐断小女人身后的一朵朵桃花，乐此而不彼。那时人们才知道，厉少一点也不丑，那个小女人是上辈子修来的福气捡了个宝。爹地，我帮你搞定妈咪的奖励呢？厉凌烨微微一笑，等我睡服你妈咪再说。小不点撇撇小嘴，当晚就把妈咪拉到了自己的小床上。...
重生之异能军嫂
推荐元笙的新书重生之军嫂甜蜜蜜依旧是甜宠无虐，放心跳坑哦重生的沈梦瑶只有一个目标，就是想要夜夜抱着闫哲涵睡。闫哲涵好不容易把自己心心念念的沈梦瑶给睡了，已经做好被她打骂的准备，没想到画风一变，沈梦瑶天天都想抱着他睡。这自己怎么好拒绝呢。经历过前世眼瞎，今生才能活的如此眼明心亮，所以抓紧目标坚决不放手。...