Pytorch数据读取之Dataset和DataLoader知识总结

# 导入需要的包
import torch
import torch.utils.data.dataset as Dataset
import numpy as np
 
# 编造数据
Data = np.asarray([[1, 2], [3, 4],[5, 6], [7, 8]])
Label = np.asarray([[0], [1], [0], [2]])
# 数据[1,2]，对应的标签是[0]，数据[3,4],对应的标签是[1]
 
 
#创建子类
class subDataset(Dataset.Dataset):
 #初始化，定义数据内容和标签
 def __init__(self, Data, Label):
  self.Data = Data
  self.Label = Label
 #返回数据集大小
 def __len__(self):
  return len(self.Data)
 #得到数据内容和标签
 def __getitem__(self, index):
  data = torch.Tensor(self.Data[index])
  label = torch.IntTensor(self.Label[index])
  return data, label
 
# 主函数
if __name__ == '__main__':
 dataset = subDataset(Data, Label)
 print(dataset)
 print('dataset大小为：', dataset.__len__())
 print(dataset.__getitem__(0))
 print(dataset[0])

#创建子类
class subDataset(Dataset.Dataset):

DataLoader(dataset,
  batch_size=1,
  shuffle=False,
  sampler=None,
  batch_sampler=None,
  num_works=0,
  clollate_fn=None,
  pin_memory=False,
  drop_last=False,
  timeout=0,
  worker_init_fn=None,
  multiprocessing_context=None)

import torch
import torch.utils.data.dataset as Dataset
import torch.utils.data.dataloader as DataLoader
import numpy as np
 
Data = np.asarray([[1, 2], [3, 4],[5, 6], [7, 8]])
Label = np.asarray([[0], [1], [0], [2]])
#创建子类
class subDataset(Dataset.Dataset):
 #初始化，定义数据内容和标签
 def __init__(self, Data, Label):
  self.Data = Data
  self.Label = Label
 #返回数据集大小
 def __len__(self):
  return len(self.Data)
 #得到数据内容和标签
 def __getitem__(self, index):
  data = torch.Tensor(self.Data[index])
  label = torch.IntTensor(self.Label[index])
  return data, label
 
if __name__ == '__main__':
 dataset = subDataset(Data, Label)
 print(dataset)
 print('dataset大小为：', dataset.__len__())
 print(dataset.__getitem__(0))
 print(dataset[0])
 
 #创建DataLoader迭代器，相当于我们要先定义好前面说的Dataset,然后再用Dataloader来对数据进行一些操作，比如是否需要打乱，则shuffle=True,是否需要多个进程读取数据num_workers=4,就是四个进程
 
 dataloader = DataLoader.DataLoader(dataset,batch_size= 2, shuffle = False, num_workers= 4)
 for i, item in enumerate(dataloader): #可以用enumerate来提取出里面的数据
  print('i:', i)
  data, label = item #数据是一个元组
  print('data:', data)
  print('label:', label)