ByronYang 的博客

今天看了梁文锋的投资会议，深有感触。 先摘录部分：

1. 我们一开始来做这个公司，初衷没有想到说我最后要赚多少钱，要到资本市场上去，要上市，要怎么样的。最开始的几十个人完全没有这么想过，如果他这么想，他就不会来。

国内很多公司是很卷的，大厂常常996，大小周，明明收益可观，年报正常，为什么会这样？

首先搞清楚，什么是卷。

做无用功就是卷。如果作出了成绩，效益增长超出预期，升职加薪，那就不叫卷，那样的活谁都想要，越多越好。 辛辛苦苦大半年，没啥成绩，效益不增反降，或者原地打转，还每天辛苦加班，那就叫卷。

欢迎来到用 Hugo + NexT 重建的博客。这篇文章用来验证三件事：代码高亮、数学公式 和 中文排版。

中文随笔

十二年前的博客是 2014 年用 Hexo 生成的，如今推倒重来。技术会过时，但记录的习惯值得保留。往后这里会写一些技术笔记、读书随笔，以及零散的思考。

自从Claude 4和Claude Code发布后，传统应用软件研发仿佛一下子失去了意义。手工代码辛苦编写2天，可能比不上Code Agent 1个小时的输出，随之而来的，是大量传统程序员的失业离职，并且以愈演愈烈之势向所有白领职业蔓延。

潜空间包含了丰富的语义，这种语义在 prefill 的时候就已经决定了，逐 token 输出本身是个很低效的表达方式，所以理论上存在更好的表达方式，比如逐句或者逐段输出。

本文以一个贯穿全篇的具体例子——输入句子「狗咬人」——逐步走完标准 Transformer（Decoder-only，GPT 式自回归）的前向全流程，并给出关键数学推导与反向传播梯度。所有中间量都取可手算复现的小数字。凡涉及的运算（点积、矩阵乘、softmax、方差、KL 散度等）都先解释是什么、为什么这里要用它，再代入数字。