数学基础

线性代数

标量，向量运算 ...

向量

向量范数

满足以下条件的函数 $f:{\mathbb{R}}^n\to \mathbb{R},\mathrm{dom}f={\mathbb{R}}^n$ 称为范数：

• 非负：$\mathrm{\forall }\mathbf{x}\in {\mathbb{R}}^n,f(\mathbf{x})\ge 0$
• 正定：$f(\mathbf{x})=0\to \mathbf{x}=\mathbf{0}$
• 齐次：$\mathrm{\forall }\mathbf{x}\in {\mathbb{R}}^n,t\in \mathbb{R},f(t\mathbf{x})=|t|f(\mathbf{x})$
• 三角不等式：$\mathrm{\forall }\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n,f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y})$

向量 $\mathbf{x}\in {\mathbb{R}}^n$，则 ${\mathbb{R}}^n$ 上的 ${\ell }_1$-范数：

$$\parallel \mathbf{x}{\parallel }_1=|x_1|+\cdots +|x_n|$$

${\ell }_{\mathrm{\infty }}$-范数：

$$\parallel \mathbf{x}{\parallel }_{\mathrm{\infty }}=max\{|x_1|,\dots ,|x_n|\}$$

更一般地：

$$\parallel \mathbf{x}{\parallel }_p=(|x_1{|}^p+\cdots +|x_n{|}^p{)}^{\frac{1}{p}}$$

矩阵

Hadamard 积

点积

$$[A\odot B{]}_{mn}=a_{mn}{b}_{mn}$$

矩阵范数

算子（诱导）范数：

设：

$$c=Ab$$

则：

$$\parallel c\parallel \le \parallel A\parallel \cdot \parallel b\parallel$$

算子范数定义：

$$\parallel A\parallel =\underset{x\ne 0}{max}\frac{\parallel Ax\parallel }{\parallel x\parallel }=\underset{\parallel x\parallel =1}{max}\parallel Ax\parallel$$

一般的 $p$-范数诱导矩阵范数：

$$\parallel A{\parallel }_p=\underset{x\ne 0}{max}\frac{\parallel Ax{\parallel }_p}{\parallel x{\parallel }_p}$$

常见矩阵范数：

• $1$-范数（最大绝对列和）：

$$\parallel A{\parallel }_1=\underset{1\le j\le n}{max}\sum _{i=1}^m|a_{ij}|$$

• $2$-范数（谱范数）：

$$\parallel A{\parallel }_2=\sqrt{{\lambda }_{max}(A^{T}A)}$$

等价于 $A$ 的最大奇异值。

• $\mathrm{\infty }$-范数（最大绝对行和）：

$$\parallel A{\parallel }_{\mathrm{\infty }}=\underset{1\le i\le m}{max}\sum _{j=1}^n|a_{ij}|$$

Frobenius 范数：

$$\parallel A{\parallel }_F=\sqrt{\sum _{i,j}{A}_{ij}^2}$$

微积分

• 次导数：不可求导情况下的导数（左右导数之间的所有值）

输出 \ 输入	标量 $x(1,)$	向量 $\mathbf{x}(n,1)$	矩阵 $\mathbf{X}(n,k)$
标量 $y(1,)$	${\displaystyle \frac{\partial y}{\partial x}}(1,)$	${\displaystyle \frac{\partial y}{\partial \mathbf{x}}}(1,n)$	${\displaystyle \frac{\partial y}{\partial \mathbf{X}}}(k,n)$
向量 $\mathbf{y}(m,1)$	${\displaystyle \frac{\partial \mathbf{y}}{\partial x}}(m,1)$	${\displaystyle \frac{\partial \mathbf{y}}{\partial \mathbf{x}}}(m,n)$	${\displaystyle \frac{\partial \mathbf{y}}{\partial \mathbf{X}}}(m,k,n)$
矩阵 $\mathbf{Y}(m,l)$	${\displaystyle \frac{\partial \mathbf{Y}}{\partial x}}(m,l)$	${\displaystyle \frac{\partial \mathbf{Y}}{\partial \mathbf{x}}}(m,l,n)$	${\displaystyle \frac{\partial \mathbf{Y}}{\partial \mathbf{X}}}(m,l,k,n)$

数学优化

（最优化都学过）

概率论

（概率论都学过）

正态分布

$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

信息论

熵（Entropy）

自信息（Self Information）

$$I(x)=-\log (p(x))$$

熵

$$\begin{array}{rl}H(X)& ={\mathbb{E}}_X[I(x)]\\ & ={\mathbb{E}}_x[-\log p(x)]\\ & =-\sum _{x\in X}p(x)\log p(x)\end{array}$$

熵是理论最优平均编码长度，这种编码方式称为熵编码（Entropy Encoding）。

交叉熵（Cross Entropy）

交叉熵是按照概率分布 $q$ 的最优编码对真实分布为 $p$ 的信息进行编码的长度：

$$\begin{array}{rl}H(p,q)& ={\mathbb{E}}_p[-\log q(x)]\\ & =-\sum _{x}p(x)\log q(x)\end{array}$$

KL 散度（K-L Divergence）

KL 散度是用概率分布 $q$ 来近似 $p$ 时所造成的信息损失量：

$$D_{KL}(p,q)=H(p,q)-H(p)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}$$

连续形式：

$$\int p(x)\log \frac{p(x)}{q(x)}dx$$

交叉熵损失

$$-\sum _{y=1}^C{p}_r(y\mid x)\log p_{\theta }(y\mid x)$$

真实概率 $p_r(y\mid x)$ 与预测概率的负对数 $-\log p_{\theta }(y\mid x)$。

$$\begin{array}{rl}{D}_{KL}(pr(y\mid x)\parallel p_{\theta }(y\mid x))& =\int pr(y\mid x)\log \frac{pr(y\mid x)}{p_{\theta }(y\mid x)}dy\\ & =\sum _{y=0}^{k}pr(y\mid x)\log \frac{pr(y\mid x)}{p_{\theta }(y\mid x)}\\ & \propto -\sum _{y=0}^{k}pr(y\mid x)\log p_{\theta }(y\mid x)\text{（}y\text{ 为 }x\text{ 的真实标签）}\\ & \propto -\sum _{y=0}^k{y}_i\log p_{\theta }(y_i\mid x)\end{array}$$

负对数似然损失函数

$$L(y,f(x,\theta ))=-\sum _{c=1}^C{y}_c\log f_c(x,\theta )$$

关系（GPT）

我们想让预测分布接近真实分布
↓
使用 KL 散度衡量分布差异
↓
去掉与参数无关项
↓
得到交叉熵
↓
one-hot 情况下变成负对数似然 loss。