paddle.nn / initializer / KaimingNormal

KaimingNormal¶

class paddle.nn.initializer. KaimingNormal ( fan_in=None ) [源代码] ¶

该接口实现Kaiming正态分布方式的权重初始化

该接口为权重初始化函数，方法来自Kaiming He，Xiangyu Zhang，Shaoqing Ren 和 Jian Sun所写的论文: Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification 。这是一个鲁棒性特别强的初始化方法，并且适应了非线性激活函数（rectifier nonlinearities）。

在正态分布中，均值为0，标准差为：

\[\sqrt{\frac{2.0}{fan\_in}}\]

参数：

fan_in (float16|float32) - Kaiming Normal Initializer的fan_in。如果为None，fan_in沿伸自变量，多设置为None

返回：对象

注解

在大多数情况下推荐设置fan_in为None

代码示例：

import paddle
import paddle.nn as nn
linear = nn.Linear(2, 4, weight_attr=nn.initializer.KaimingNormal())
data = paddle.rand([30, 10, 2], dtype='float32')
res = linear(data)

此页内容是否对您有帮助

PaddlePaddle

paddle

paddle.amp

paddle.callbacks

paddle.compat

paddle.distributed

paddle.distribution

paddle.fluid

paddle.io

paddle.jit

paddle.metric

paddle.nn

paddle.onnx

paddle.optimizer

paddle.regularizer

paddle.static

paddle.sysconfig

paddle.text

paddle.utils

paddle.vision

paddle.nn / initializer / KaimingNormal

KaimingNormal¶