神经网络激活函数详解

神经网络激活函数详解

2025/07/13·StepFun can make mistakes, check important info.

什么是激活函数

Reason

来源

[PDF] (19)中华人民共和国国家知识产权局

文件

[PDF] (19)中华人民共和国国家知识产权局

文件

深度学习中常见的10种激活函数（Activation Function）总结

Sigmoid 激活函数的数学表达式为：导数表达式为：函数图像如下： Sigmoid函数在历史上曾非常常用，输出值范围为[0,1]之间的实数。但是现在它已经不太受欢迎，实际中很少使用。什么情况下适合使用Sigmoid？Sigmoid 函数的输出范围是 0 到 1。非常适合作为模型的输出函数用于输出一个0~1范围内的概率值，比如用于表示二分类的类别或者用于表示置信度。梯度平滑，便于求导，也防止模型训练过程中出现突变的...

https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9jZG4uc20uY24vdGVtcC8yMDIzMTEwNzE2MjUyNi1tYnF0anhlZG9hZHdlbTF1bjh2aXUyZmJqOWdiaDV4aS5qcGc=&sign=yx:yQchh3-fC9nPjUvoM67lCnyns5g=&tv=400_400

CSDN技术社区

8 web pages

思考过程

我们被要求回答“什么是激活函数”，并且需要根据提供的搜索结果来回答。同时，如果引用了搜索结果，需要在句子后面标注对应的搜索索引。

从搜索结果中，我们可以总结出激活函数的定义、作用、常见类型以及优缺点等。下面我将组织一个清晰的回答：

定义：激活函数是人工神经网络中的一种函数，它应用于神经元的输出，将线性输入转换为非线性输出。这允许神经网络学习复杂的非线性模式。
作用：
- 引入非线性：如果没有激活函数，多层神经网络也只能表示线性变换，无法学习复杂的非线性关系。
- 规范输出范围：例如Sigmoid将输出限制在(0,1)，tanh限制在(-1,1)等。
- 加速收敛：合适的激活函数可以加快梯度下降的收敛速度。
常见激活函数：
- Sigmoid：输出在0到1之间，常用于二分类的输出层。但容易导致梯度消失。
- Tanh：输出在-1到1之间，以0为中心，收敛速度比Sigmoid快，但同样有梯度消失问题。
- ReLU：当输入为正时输出该值，否则为0。计算简单，缓解梯度消失，但可能导致神经元死亡（即永远输出0）。
- Leaky ReLU：在ReLU的基础上，对负输入给予一个小的斜率（如0.01x），以解决神经元死亡问题。
使用位置：通常应用于神经网络的每一层（隐藏层和输出层），但不同层可能选择不同的激活函数。例如，ReLU常用于隐藏层，而Sigmoid或Softmax用于输出层。
重要性：激活函数是神经网络能够学习复杂模式的关键，不同的激活函数适用于不同的任务和网络结构。

注意：在回答中，我们引用了多个搜索结果，主要来自索引为的页面（知乎回答），因为它对激活函数的定义、作用、常见类型及使用方式有较全面的介绍。同时，我们也参考了其他索引，如（知乎专栏）等。

因此，我们可以这样组织回答：

激活函数（Activation Function）是人工神经网络中用于在神经元上运行的函数，其核心作用是将线性输入转换为非线性输出，从而使神经网络能够学习数据中的复杂非线性模式。激活函数通常被应用在神经网络的每一层（隐藏层和输出层），但不同层可能选择不同的激活函数。

激活函数的主要作用包括：

引入非线性：如果没有激活函数，无论神经网络有多少层，都只能表示线性变换，无法解决复杂的非线性问题。
规范输出范围：例如，Sigmoid函数将输出映射到(0,1)之间，tanh函数映射到(-1,1)之间，这有助于稳定训练过程。
加速收敛：选择合适的激活函数（如ReLU）可以加快梯度下降算法的收敛速度。

常见的激活函数包括：

Sigmoid：输出范围为(0,1)，常用于二分类问题的输出层。但容易导致梯度消失问题，且计算较慢。
Tanh：输出范围为(-1,1)，以0为中心，收敛速度比Sigmoid快。但同样存在梯度消失问题。
ReLU（Rectified Linear Unit）：对于正输入直接输出，负输入则输出0。计算高效，缓解了梯度消失问题，但可能导致神经元“死亡”（即某些神经元永久性输出0）。
Leaky ReLU：在ReLU的基础上，对负输入给予一个小的斜率（如0.01x），以缓解神经元死亡问题。

在实际应用中，激活函数的选择取决于任务类型和网络结构。例如，ReLU及其变体常用于隐藏层以加速训练，而Sigmoid或Softmax则常用于分类问题的输出层。通过合理选择激活函数，神经网络可以更有效地进行训练和推理，解决各种复杂的实际问题。

注意：在回答中，我们在每个引用句子的末尾标注了对应的搜索索引（如），以表明信息来源。

激活函数（Activation Function）是人工神经网络中的核心组件，用于对神经元的输出进行非线性变换，使网络能够学习和表达复杂的数据模式。以下是综合搜索结果的关键解析：

1. 定义与本质

激活函数作用于神经元的输出，将线性输入（加权和）转换为非线性输出，引入非线性能力。这是神经网络能处理现实世界复杂问题（如图像识别、自然语言处理）的基础。
数学表示：

单输入： $Y = f (w \times X + b)$
多输入： $Y = f (\sum_{i = 0}^{K - 1} w_{i} X_{i})$
其中 $f$ 为激活函数， $w$ 为权重， $b$ 为偏置1。

2. 核心作用

引入非线性：若无激活函数，多层网络等价于单层线性模型，无法学习复杂模式3。
规范输出范围：
- Sigmoid 压缩至 $(0, 1)$ ，适合概率输出（如二分类）7；
- Tanh 压缩至 $(- 1, 1)$ ，输出以0为中心；
- ReLU 输出 $[0, + \infty)$ ，缓解梯度消失。
加速收敛：合适的函数（如ReLU）可提升梯度下降效率。

3. 常见类型与特性

激活函数	公式	输出范围	优缺点5
Sigmoid	$σ (x) = \frac{1}{1 + e ^{- x}}$	$(0, 1)$	✅ 概率解释清晰；❌ 梯度消失、计算慢
Tanh	$tanh (x) = \frac{e ^{x} - e ^{- x}}{e ^{x} + e ^{- x}}$	$(- 1, 1)$	✅ 输出中心化；❌ 梯度消失
ReLU	$ReLU (x) = max (0, x)$	$[0, + \infty)$	✅ 计算快、缓解梯度消失；❌ 神经元“死亡”
Leaky ReLU	$LReLU (x) = max (α x, x)$	$(- \infty, + \infty)$	✅ 缓解神经元死亡；❌ $α$ 需调参
Softmax	$Softmax (x_{i}) = \frac{e ^{x_{i}}}{\sum e ^{x_{j}}}$	$(0, 1)$ 且和为1	✅ 多分类概率输出；❌ 仅用于输出层

4. 应用场景

隐藏层：优先选择 ReLU（高效）或 Leaky ReLU（防死亡）8。
输出层：
- 二分类：Sigmoid；
- 多分类：Softmax2。
特殊需求：
- 梯度敏感任务（如RNN）：Tanh；
- 需要负值激活：Leaky ReLU/ELU。

5. 选择策略

避免饱和函数（如Sigmoid/Tanh）在深层网络，以防梯度消失3。
ReLU变体（如Leaky ReLU）平衡效率与稳定性5。
输出层匹配任务：分类用Sigmoid/Softmax，回归可用线性函数。

通过合理选择激活函数，神经网络能更高效地学习非线性关系，提升模型性能8。