flyfish

Sigmoid函数是一种具有S形曲线的数学函数。
Sigmoid函数是一种激活函数，并且更具体地定义为挤压函数（squashing function）。压缩函数将输出限制在0到1之间，从而使这些函数在概率预测中非常有用。
挤压函数（squashing function）
挤压函数是将大范围输入挤压到较小区间的函数，通常被用于做 激活函数 ，主要有 Sigmoid 函数 和 Tanh 双曲正切函数两种。
其中 Sigmoid 函数是一种常见的挤压函数，可将较大范围的输入挤压到[0,1]内。
Tanh 双曲正切函数是 Sigmoid 函数的变体，其取值范围在 [-1,1]，定义域为 R，其同为挤压函数的一种。

通常和Softmax函数做比较
1、Softmax用于Logistic回归模型中的多分类。Sigmoid用于Logistic回归模型中的二进制分类。
2、Softmax概率和是1，Sigmoid概率和不需要是1。
3、Softmax用于不同层次的神经网络。Sigmoid在构建神经网络时用作激活函数。
4、Softmax 大值比其他值具有更大的概率。Sigmoid数值大则概率大，但概率不会比另一个数值的概率更大。
S(x)=11+e?x=exex+1.{\displaystyle S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.}S(x)=1+e?x1=ex+1ex.

图像
解释e

e=∑n=0∞1n!=11+11+11?2+11?2?3+?{\displaystyle e=\displaystyle \sum \limits _{n=0}^{\infty }{\dfrac {1}{n!}}={\frac {1}{1}}+{\frac {1}{1}}+{\frac {1}{1\cdot 2}}+{\frac {1}{1\cdot 2\cdot 3}}+\cdots }e=n=0∑∞n!1=11+11+1?21+1?2?31+?

e=∑n=0∞1n!e=\sum _{n=0}^{\infty }{\frac {1}{n!}}e=∑n=0∞n!1

e=lim?n→∞(1+1n)ne=\lim _{no \infty }\left(1+{\frac {1}{n}}\right)^{n}e=limn→∞(1+n1)n