paddle.io / ChainDataset

ChainDataset¶

class paddle.io. ChainDataset [源代码] ¶

将多个流式数据集级联的数据集。

用于级联的数据集须都是 paddle.io.IterableDataset 数据集，将各流式数据集按顺序级联为一个数据集。

参数:

datasets (list of IterableDataset) - 待级联的多个数据集。

返回：Dataset，级联后的流式数据集

代码示例

import numpy as np
import paddle
from paddle.io import IterableDataset, ChainDataset


# define a random dataset
class RandomDataset(IterableDataset):
    def __init__(self, num_samples):
        self.num_samples = num_samples

    def __iter__(self):
        for i in range(10):
            image = np.random.random([32]).astype('float32')
            label = np.random.randint(0, 9, (1, )).astype('int64')
            yield image, label

dataset = ChainDataset([RandomDataset(10), RandomDataset(10)])
for image, label in iter(dataset):
    print(image, label)

此页内容是否对您有帮助

PaddlePaddle

paddle

paddle.amp

paddle.callbacks

paddle.compat

paddle.distributed

paddle.distribution

paddle.fluid

paddle.io

paddle.jit

paddle.metric

paddle.nn

paddle.onnx

paddle.optimizer

paddle.regularizer

paddle.static

paddle.sysconfig

paddle.text

paddle.utils

paddle.vision

paddle.io / ChainDataset

ChainDataset¶