鸭梨公共文档

主题

激活函数合集 ​

1. 简单激活函数 ​

1.1 恒等函数 ​

f(x)=xf(x) = x

f′(x)=1f'(x) = 1

1.2 单位阶跃函数 ​

f(x)={0,x<01,x⩾0f(x) = \begin{cases} 0, & x < 0 \\ 1, & x \geqslant 0 \end{cases}

f′(x)={0,x≠0f'(x) = \begin{cases} 0, & x \neq 0 \end{cases}

1.3 Sigmoid 函数 ​

f(x)=11+e−xf(x) = \frac{1}{1 + \mathrm{e}^{-x} }

f′(x)=f(x)(1−f(x))=e−x(1+e−x)2=14cosh⁡2(x/2)\begin{aligned} f'(x) &= f(x)\left(1 - f(x)\right) \\ &= \frac{ \mathrm{e}^{-x} }{ (1 + \mathrm{e}^{-x})^2 } \\ &= \frac{1}{4\cosh^2\left(x / 2\right)} \end{aligned}

1.4 双曲正切（Tanh） ​

f(x)=tanh⁡(x)=sinh⁡(x)cosh⁡(x)=ex−e−xex+e−x\begin{aligned} f(x) &= \tanh(x) \\ &= \frac{\sinh(x)}{\cosh(x)} \\ &= \frac{\mathrm{e}^x - \mathrm{e}^{-x} }{\mathrm{e}^x + \mathrm{e}^{-x} } \end{aligned}

f′(x)=1−f2(x)=1cosh⁡2(x)\begin{aligned} f'(x) &= 1 - f^2(x) \\ &= \frac{1}{\cosh^2(x)} \end{aligned}

1.5 反正切（Arctan） ​

f(x)=arctan⁡(x)f(x) = \arctan(x)

f′(x)=1x2+1f'(x) = \frac{1}{x^2 + 1}

1.6 Softsign 函数 ​

f(x)=x1+∣x∣f(x) = \frac{x}{1 + \left|x\right|}

f′(x)=1(1+∣x∣)2f'(x) = \frac{1}{(1+|x|)^2}

1.7 反平方根函数（ISRU） ​

f(x)=x1+αx2f(x) = \frac{x}{ \sqrt{1 + \alpha x^2} }

f′(x)=(11+αx2)3f'(x) = \left(\frac{1}{ \sqrt{1 + \alpha x^2} }\right)^3

2. 线性激活单元 ​

2.1 线性整流函数（ReLU） ​

f(x)=max⁡(0, x)f(x) = \max(0,\, x)

f′(x)={0,x<01,x>0f'(x) = \begin{cases} 0, & x < 0 \\ 1, & x > 0 \end{cases}

2.2 带泄露的线性整流函数（Leakly ReLU） ​

f(x)=max⁡(αx, x), α∈(0, 1)f(x) = \max(\alpha x,\, x),\, \alpha \in (0,\, 1)

f′(x)={α,x<01,x>0f'(x) = \begin{cases} \alpha, & x < 0 \\ 1, & x > 0 \end{cases}

一般取 α=0.01\alpha = 0.01。

2.3 指数线性单元（ELU） ​

f(x)={α(ex−1),x<0x,x⩾0f(x) = \begin{cases} \alpha(\mathrm{e}^x - 1), & x < 0 \\ x, & x \geqslant 0 \end{cases}

f′(x)={αex,x<01,x>0f'(x) = \begin{cases} \alpha\mathrm{e}^{x}, & x < 0 \\ 1, & x > 0 \end{cases}

2.4 扩展型指数线性单元（SELU） ​

f(x)=λ{α(ex−1),x<0x,x⩾0f(x) = \lambda\begin{cases} \alpha(\mathrm{e}^x - 1), & x < 0 \\ x, & x \geqslant 0 \end{cases}

f′(x)=λ{αex,x<01,x>0f'(x) = \lambda\begin{cases} \alpha\mathrm{e}^{x}, & x < 0 \\ 1, & x > 0 \end{cases}

其中

a≈1.6732632423543772848170429916717λ≈1.0507009873554804934193349852946\begin{aligned} a &\approx 1.6732632423543772848170429916717 \\ \lambda &\approx 1.0507009873554804934193349852946 \end{aligned}

2.5 SiLU 函数（Swish 函数） ​

f(x)=xσ(x)=x1+e−x\begin{aligned} f(x) &= x\sigma(x) \\ &= \frac{x}{1 + \mathrm{e}^{-x} } \end{aligned}

f′(x)=f(x)+σ(x)(1−f(x))=x+ex+14cosh⁡2(x/2)\begin{aligned} f'(x) &= f(x) + \sigma(x)\left(1 - f(x)\right) \\ &= \frac{x + \mathrm{e}^x + 1}{4\cosh^2\left(x / 2\right)} \end{aligned}

2.6 Softplus ​

f(x)=log⁡(1+ex)f(x) = \log(1 + \mathrm{e}^x)

f′(x)=ex1+exf'(x) = \frac{\mathrm{e}^x}{1 + \mathrm{e}^x}

2.6 Hard-Swish ​

2.7 Mish ​

2.8 GELU ​

3. 多参数激活函数 ​

3.1 Softmax 函数 ​

softmax(zi)=ezi∑k=1Cezk\mathrm{softmax}(z_i) = \frac{\mathrm{e}^{z_i}}{\sum_{k=1}^C \mathrm{e}^{z_k}}

关于 Softmax 我们之后会进行讨论，TODO 增加链接。

3.2 Maxout 函数 ​