hard_swish¶

paddle.fluid.layers. hard_swish ( x, threshold=6.0, scale=6.0, offset=3.0, name=None ) [源代码] ¶

该OP实现了hard_swish激活函数。hard_swish激活函数在MobileNetV3架构中被提出，相较于swish函数，具有数值稳定性好，计算速度快等优点，具体原理请参考: https://arxiv.org/pdf/1905.02244.pdf

\(out = \frac{x * (min(max(0, x+offset), threshold))}{scale}\)

阈值 threshold 和缩放因子 scale 为正数，位移 offset 正负均可，建议使用默认参数。

参数：

x (Variable) - 输入特征，多维Tensor。数据类型为float32或float64。
threshold (float，可选) - 激活操作中Relu函数的阈值，默认值为6.0。
scale (float，可选) - 激活操作的缩放因子，默认值为6.0。
offset (float，可选) - 激活操作的位移，默认值为3.0。
name (None|str) – 该参数供开发人员打印调试信息时使用，具体用法请参见 Name ，默认值为None。

返回：经过hard_swish计算后的结果，数据类型及维度和x相同。

返回类型：Variable

代码示例：

import paddle.fluid as fluid
import numpy as np

DATATYPE='float32'
shape = [1,4]

x_data = np.array([i for i in range(1,5)]).reshape(shape).astype(DATATYPE)

x = fluid.layers.data(name="x", shape=shape, dtype=DATATYPE)
y = fluid.layers.hard_swish(x)

place = fluid.CUDAPlace(0)
exe = fluid.Executor(place)
out, = exe.run(feed={'x':x_data}, fetch_list=[y.name])
print(out)  # [[0.66666667, 1.66666667,3., 4.]]

PaddlePaddle

paddle.fluid / layers / hard_swish

hard_swish¶

PaddlePaddle

paddle

paddle.amp

paddle.callbacks

paddle.compat

paddle.distributed

paddle.distribution

paddle.fluid

paddle.io

paddle.jit

paddle.metric

paddle.nn

paddle.onnx

paddle.optimizer

paddle.regularizer

paddle.static

paddle.sysconfig

paddle.text

paddle.utils

paddle.vision

paddle.fluid / layers / hard_swish

hard_swish¶