QueueDataset¶

class paddle.fluid.dataset. QueueDataset [源代码] ¶

流式处理数据。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset("QueueDataset")

local_shuffle ( ) ¶

局域shuffle数据

QueueDataset中不支持局域shuffle，可能抛出NotImplementedError

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset("QueueDataset")
dataset.local_shuffle()

global_shuffle ( fleet=None ) ¶

全局shuffle数据

QueueDataset中不支持全局shuffle，可能抛出NotImplementedError

代码示例:

import paddle.fluid as fluid
from paddle.fluid.incubate.fleet.parameter_server.pslib import fleet
dataset = fluid.DatasetFactory().create_dataset("QueueDataset")
dataset.global_shuffle(fleet)

desc ( ) ¶

为 DataFeedDesc 返回一个缓存信息。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
print(dataset.desc())

返回：一个字符串信息

set_batch_size ( batch_size ) ¶

设置batch size。在训练期间生效。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_batch_size(128)

参数：

batch_size (int) - batch size

set_fea_eval ( record_candidate_size, fea_eval ) ¶

参数：

record_candidate_size (int) - 打乱一个特征的候选实例大小
fea_eval (bool) - 是否设置特征验证模式来打乱特征，默认为True。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset(“InMemoryDataset”)
dataset.set_fea_eval(1000000, True)

set_filelist ( filelist ) ¶

在当前的worker中设置文件列表。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_filelist(["a.txt", "b.txt"])

参数：

filelist (list) - 文件列表

set_hdfs_config ( fs_name, fs_ugi ) ¶

设置hdfs配置：fs名称与ugi。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_hdfs_config("my_fs_name", "my_fs_ugi")

参数：

fs_name (str) - fs名称
fs_ugi (str) - fs ugi

set_pipe_command ( pipe_coommand ) ¶

在当前的 dataset 中设置pipe命令。pipe命令只能使用UNIX的pipe命令

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_pipe_command("python my_script.py")

参数：

pipe_command (str) - pipe命令

set_thread ( thread_num ) ¶

设置进程数量，等于readers的数量。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_thread(12)

参数：

thread_num (int) - 进程数量

set_use_var ( var_list ) ¶

设置将要使用的 Variable 。

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_use_var([data, label])

参数：

var_list (list) - variable 列表

slots_shuffle ( slots ) ¶

该方法是在特征层次上的一个打乱方法，经常被用在有着较大缩放率实例的稀疏矩阵上，为了比较metric，比如auc，在一个或者多个有着baseline的特征上做特征打乱来验证特征level的重要性。

参数：

slots (list[string]) - 要打乱特征的集合

代码示例:

import paddle.fluid as fluid
dataset = fluid.DatasetFactory().create_dataset(“InMemoryDataset”)
dataset.set_merge_by_lineid()
#支持slot 0
dataset.slots_shuffle([‘0’])

PaddlePaddle

paddle.fluid / dataset / QueueDataset

QueueDataset¶

PaddlePaddle

paddle

paddle.amp

paddle.callbacks

paddle.compat

paddle.distributed

paddle.distribution

paddle.fluid

paddle.io

paddle.jit

paddle.metric

paddle.nn

paddle.onnx

paddle.optimizer

paddle.regularizer

paddle.static

paddle.sysconfig

paddle.text

paddle.utils

paddle.vision

paddle.fluid / dataset / QueueDataset

QueueDataset¶