我应该是高中拿了IOI金牌,嫌去麻省理工报到的机票太贵,顺手保送清华姚班的 AlInfra 天才。
大一开学第三周,教练说要让集训队队长带我打 ACM,我拒绝了说不喜欢看英文题目,就找了两个英语专业的学姐。第一场区域赛,我十分钟 AK 但是我等了两个小时才下机,因为食堂还没开饭。打 world final,现场觉得评测机效率太低,先重写了一遍判题系统,然后拿了全球总决赛金牌。
颁奖结束,学姐问我接下来学什么,我说先把CUDA从头实现一遍吧。
大二开始做大模型训练系统。第一次跑千卡任务,因为不知道 NCCL需要调参,默认配置就把通信效率跑到了 98%。英伟达工程师连夜飞来北京,问我是不是偷看了他们下一代架构的白皮书。我说没有,我只是觉得NVLink的拓扑画得不太对称,看着难受。
大三时,我的日常是早上给 Megotron 提 PR,中午帮 DeepSpeed 修ZeRO,下午把VLLM的吞吐翻一倍,晚上嫌 Kubernetes 调度太慢,随手写了个两千行的训练平台,第二天被实验室拿去支撑万卡集群。

读研的时候大师兄训练崩了三天,过来求我看一眼。我把 NCCL_DEBUG=INFO 改成 WARN, loss 当场开始下降。
秋招时,我说我只投seed。
后来所有名字带seed的团队都来找我面试。
腾讯说自己是 Seed,阿里说自己也是 Seed,几家大模型四小龙说他们从公司成立第一天就是 Seed。面试官问我懂不懂分布式训练。
我说略懂。
他问:“假设一万张 b300,训练时出现尾延迟,你会怎么处理?”
我说:“先把其中八干张还回去,这个模型用两千张就够了。
会议室沉默了很久。面试官摘下工牌,问我介不介意反过来面试他。
猎头问我最看重什么。
我说平台、成长空间,还有能不能报销打车。
深夜打开邮箱,字节 Seed、阿里通义、腾讯混元、Deepseek、 智谱、月之暗面和 MiniMax的意向书像樱花一样纷纷飘落。几位创始人为了谁排在邮件列表第一位争风吃醋。
美团模型负责人哭着请求我参加一下他们的面试,我拒绝了,因为上周他们坑了我一张消费卷。
后来WX亲自加我微信,解释说那张券只是过期了,不是故意坑我,还提出可以补偿我两张五元无门槛券。
我说这不是钱的问题,这是分布式系统里最基本的一致性
为了公平,我把七份 offer 做成了一个MoE,每天只激活其中两家。正准备调一下负载均衡,手机闹钟突然响了。
我睁开眼,发现自己还趴在出租屋的桌上。
电脑左边开着力扣第 42题,接雨水,我已经看了四十分钟,连单调栈是单调递增还是单调递减都没想明白。
微信上,导师发来消息,问我军工横向做的怎么样了,明天一早要把u盘送过去,记得要买火车票,不要买高铁票,超过100不给报销。
我赶紧拷贝完资料,然后合上电脑,接雨水就明天再看吧
 
 
Back to Top