可以打个形象的比方:你精通织毛衣技术,尤其擅长各种图案的织造与各色色彩的搭配。你所织出的毛衣质量过硬且花纹美观,十里八乡的富人都来请你为他们织毛衣,你借此赚到了不少钱。同时,你十分享受着那种坐在窗边,沏一壶清茶,望着窗外的青山、绿水、牛羊与炊烟,静静地织上一下午毛衣的感觉。但有一天,有人发明出了一台神奇的机器,只需提供毛线与图案,便可自动织出毛衣,质量与纹理都不亚于你亲手织造的,且速度远快于你。你很清楚,你的同行可以凭着这台机器轻松达到你曾经的水平,因此你不得不也去用它。你也知道,凭借着你过去二十年攒下的织毛衣技术,哪怕大家都有机器,你织毛衣的速度与质量也还能超过同行。但那份临窗听雨、引针穿线、慢度光阴的意趣,终究还是被机器的轰鸣碾碎了。
via intlsy
苹果留你们抢吧 我今晚去注册美团骑手。拿到单子就把手机卖了。然后赔货主原价。
致敬最不会营销、最清白、最懂安全、最尊重版权、最不会蒸馏、最严于律己宽于待人、最喜欢给用户发福利、最不爱定制榜单、最不喜欢把模型降智给用户限流、最便宜、最喜欢人工维护、最不会全程让AI工作然后出岔子只会甩锅、最不会侵犯用户隐私然后倒打一耙限制蒸馏、最喜欢修bug然后补偿用户损失、最见的别人家好、最喜欢公平竞争、最讨厌装神弄鬼的Anthropic
不说别的我们就说说华为的防水。上次我的华为,掉马里亚纳海沟里了,我以为手机肯定完了,不是进水就是被水压压爆了。结果令我没想到的是,我的华为用24k混合钻石镜头当眼睛,自动开启了手电筒照亮海底,以手机GPS当导航,凭借着金属机身的流线感,靠着手机震动不断划水,竟然又找到了我!麒麟cpu8核处理器散发的温暖,使我拿到我的华为的时候不是冰冷的触感,而是略带温热。这一刻,我真的感受到了祖国的温暖。此生入了大华为,来世还做中国人 接下来说说华为的闪光灯,我下矿现在都不带头灯了,手机一拿出来,整个矿都亮。信号超给力,记得有一次当时我们矿透水踏了,地下6000多米,500多个工友手机都没信号,我拿出我的华为打通了求救电话。而且华为的电池特牛逼,当搜救员工找到我们时,由于塌方,电全断了,他们用绳索吊上去200多人。可是突然发生二次塌方,如果不快点救人,那就全完了。我拆下我华为的电池搭通升降机,当时全矿居然都通电了。升降机轰隆隆的,以前一次拉10个人就不行,用华为电池一次拉了50多个,5分钟就救出了所有人。 等救完人,把电池还我,装上电池还有98%。
我应该是高中拿了IOI金牌,嫌去麻省理工报到的机票太贵,顺手保送清华姚班的 AlInfra 天才。
大一开学第三周,教练说要让集训队队长带我打 ACM,我拒绝了说不喜欢看英文题目,就找了两个英语专业的学姐。第一场区域赛,我十分钟 AK 但是我等了两个小时才下机,因为食堂还没开饭。打 world final,现场觉得评测机效率太低,先重写了一遍判题系统,然后拿了全球总决赛金牌。
颁奖结束,学姐问我接下来学什么,我说先把CUDA从头实现一遍吧。
大二开始做大模型训练系统。第一次跑千卡任务,因为不知道 NCCL需要调参,默认配置就把通信效率跑到了 98%。英伟达工程师连夜飞来北京,问我是不是偷看了他们下一代架构的白皮书。我说没有,我只是觉得NVLink的拓扑画得不太对称,看着难受。
大三时,我的日常是早上给 Megotron 提 PR,中午帮 DeepSpeed 修ZeRO,下午把VLLM的吞吐翻一倍,晚上嫌 Kubernetes 调度太慢,随手写了个两千行的训练平台,第二天被实验室拿去支撑万卡集群。
读研的时候大师兄训练崩了三天,过来求我看一眼。我把 NCCL_DEBUG=INFO 改成 WARN, loss 当场开始下降。
秋招时,我说我只投seed。
后来所有名字带seed的团队都来找我面试。
腾讯说自己是 Seed,阿里说自己也是 Seed,几家大模型四小龙说他们从公司成立第一天就是 Seed。面试官问我懂不懂分布式训练。
我说略懂。
他问:“假设一万张 b300,训练时出现尾延迟,你会怎么处理?”
我说:“先把其中八干张还回去,这个模型用两千张就够了。
会议室沉默了很久。面试官摘下工牌,问我介不介意反过来面试他。
猎头问我最看重什么。
我说平台、成长空间,还有能不能报销打车。
深夜打开邮箱,字节 Seed、阿里通义、腾讯混元、Deepseek、 智谱、月之暗面和 MiniMax的意向书像樱花一样纷纷飘落。几位创始人为了谁排在邮件列表第一位争风吃醋。
美团模型负责人哭着请求我参加一下他们的面试,我拒绝了,因为上周他们坑了我一张消费卷。
后来WX亲自加我微信,解释说那张券只是过期了,不是故意坑我,还提出可以补偿我两张五元无门槛券。
我说这不是钱的问题,这是分布式系统里最基本的一致性
为了公平,我把七份 offer 做成了一个MoE,每天只激活其中两家。正准备调一下负载均衡,手机闹钟突然响了。
我睁开眼,发现自己还趴在出租屋的桌上。
电脑左边开着力扣第 42题,接雨水,我已经看了四十分钟,连单调栈是单调递增还是单调递减都没想明白。
微信上,导师发来消息,问我军工横向做的怎么样了,明天一早要把u盘送过去,记得要买火车票,不要买高铁票,超过100不给报销。
我赶紧拷贝完资料,然后合上电脑,接雨水就明天再看吧
大一开学第三周,教练说要让集训队队长带我打 ACM,我拒绝了说不喜欢看英文题目,就找了两个英语专业的学姐。第一场区域赛,我十分钟 AK 但是我等了两个小时才下机,因为食堂还没开饭。打 world final,现场觉得评测机效率太低,先重写了一遍判题系统,然后拿了全球总决赛金牌。
颁奖结束,学姐问我接下来学什么,我说先把CUDA从头实现一遍吧。
大二开始做大模型训练系统。第一次跑千卡任务,因为不知道 NCCL需要调参,默认配置就把通信效率跑到了 98%。英伟达工程师连夜飞来北京,问我是不是偷看了他们下一代架构的白皮书。我说没有,我只是觉得NVLink的拓扑画得不太对称,看着难受。
大三时,我的日常是早上给 Megotron 提 PR,中午帮 DeepSpeed 修ZeRO,下午把VLLM的吞吐翻一倍,晚上嫌 Kubernetes 调度太慢,随手写了个两千行的训练平台,第二天被实验室拿去支撑万卡集群。
读研的时候大师兄训练崩了三天,过来求我看一眼。我把 NCCL_DEBUG=INFO 改成 WARN, loss 当场开始下降。
秋招时,我说我只投seed。
后来所有名字带seed的团队都来找我面试。
腾讯说自己是 Seed,阿里说自己也是 Seed,几家大模型四小龙说他们从公司成立第一天就是 Seed。面试官问我懂不懂分布式训练。
我说略懂。
他问:“假设一万张 b300,训练时出现尾延迟,你会怎么处理?”
我说:“先把其中八干张还回去,这个模型用两千张就够了。
会议室沉默了很久。面试官摘下工牌,问我介不介意反过来面试他。
猎头问我最看重什么。
我说平台、成长空间,还有能不能报销打车。
深夜打开邮箱,字节 Seed、阿里通义、腾讯混元、Deepseek、 智谱、月之暗面和 MiniMax的意向书像樱花一样纷纷飘落。几位创始人为了谁排在邮件列表第一位争风吃醋。
美团模型负责人哭着请求我参加一下他们的面试,我拒绝了,因为上周他们坑了我一张消费卷。
后来WX亲自加我微信,解释说那张券只是过期了,不是故意坑我,还提出可以补偿我两张五元无门槛券。
我说这不是钱的问题,这是分布式系统里最基本的一致性
为了公平,我把七份 offer 做成了一个MoE,每天只激活其中两家。正准备调一下负载均衡,手机闹钟突然响了。
我睁开眼,发现自己还趴在出租屋的桌上。
电脑左边开着力扣第 42题,接雨水,我已经看了四十分钟,连单调栈是单调递增还是单调递减都没想明白。
微信上,导师发来消息,问我军工横向做的怎么样了,明天一早要把u盘送过去,记得要买火车票,不要买高铁票,超过100不给报销。
我赶紧拷贝完资料,然后合上电脑,接雨水就明天再看吧