Pytorch入门教程14-Pytorch中的经典网络结构

王 茂南
王 茂南
王 茂南
2826
文章
75
评论
2020年10月13日07:36:42
评论1 5288字阅读17分37秒
摘要在Pytoch中, 会有一些已经预训练好的模型, 我们可以使用这些模型来加快我们的训练速度. 这一篇就是会介绍如何使用Pytorch中的已经定义好的模型. 我们会使用一个简单的迁移学习来作为例子进行说明.

简介

在Pytorch中(在torchvision.model之中), 会有一些经典的网络结构, 这些网络结构是已经经过训练, 有较好的初始化系数, 我们可以利用这些模型来做进一步的训练.

这一篇我们会介绍如何使用Pytorch中的已经定义好的模型. 我们会使用一个简单的迁移学习来作为例子进行说明.

关于这一篇的相关代码, 可以在github上查看: Pytorch中经典网络结构与迁移学习.ipynb

 

简单的迁移学习例子

在这里我们会完成一个对蚂蚁和蜜蜂的二分类器. 但是数据集都不大, 我们会使用Pytorch中预训练好的resnet18网络, 来对数据完成训练.

实验的数据集

数据集的结构如下所示, 之后可以使用ImageFolder来封装(实验的数据集就不上传了, 这里就作为一个简单的例子, 说明Pytorch如何使用预训练的网络):

  • train(训练集)
    • ants
    • bees
  • val(测试集)
    • ants
    • bees

我们简单查看一下数据集, 从中选出4张图片来进行展示.

  1. # 显示一下具体的图像
  2. dirPath = '/content/drive/My Drive/Machine Learning/dataset/hymenoptera_data_Unzipped/'
  3. imageList = [dirPath+'hymenoptera_data/train/ants/178538489_bec7649292.jpg', dirPath+'hymenoptera_data/train/ants/424873399_47658a91fb.jpg',
  4.             dirPath+'hymenoptera_data/train/ants/533848102_70a85ad6dd.jpg', dirPath+'hymenoptera_data/train/bees/196658222_3fffd79c67.jpg']
  6. fig, axes = plt.subplots(nrows=2, ncols=2, figsize=(6,6))
  8. for i, img_path in enumerate(imageList):
  9.     img_check1 = cv2.imread(img_path, cv2.IMREAD_COLOR)
  10.     img_check1 = cv2.cvtColor(img_check1, cv2.COLOR_BGR2RGB) # BGR => RGB
  11.     # 图片进行显示
  12.     axes[i//2, i%2].axis("off")
  13.     axes[i//2, i%2].imshow(img_check1)
  15. fig.tight_layout()
Pytorch入门教程14-Pytorch中的经典网络结构

 

数据预处理

在数据预处理的时候, 我们会对原始图片进行旋转等操作, 这样增加数据的多样性(这里并没有增加数据的数量, 只是增加了多样性)

  1. mean = np.array([0.5, 0.5, 0.5])
  2. std = np.array([0.25, 0.25, 0.25])
  4. data_transforms = {
  5.     'train': transforms.Compose([
  6.         # 加入旋转等数据增强技术，加大模型训练的难度，提高模型的稳健性
  7.         transforms.RandomResizedCrop(224), # 随机剪裁
  8.         transforms.RandomHorizontalFlip(), # 随机水平翻转
  9.         transforms.ToTensor(),
  10.         transforms.Normalize(mean, std)
  11.     ]),
  12.     # 测试集输入时，无需加入旋转等操作
  13.     'val': transforms.Compose([
  14.         # resize 操作的目的是将任意大小的图片转为模型规定的输入大小
  15.         transforms.RandomResizedCrop(224),
  16.         transforms.ToTensor(),
  17.         transforms.Normalize(mean, std)
  18.     ]),
  19. }

 

数据的封装

上面定义好数据预处理的内容之后, 下面对数据进行封装. 首先从image放入dataset, 再将dataset传入dataloader中去.

  1. dirPath = '/content/drive/My Drive/Machine Learning/dataset/hymenoptera_data_Unzipped/hymenoptera_data'
  2. # 将数据集封装到 PyTorch 中数据加载器中
  3. image_datasets = {x: torchvision.datasets.ImageFolder(os.path.join(dirPath, x), data_transforms[x]) for x in ['train', 'val']}
  4. dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=20, shuffle=True, num_workers=0) for x in ['train', 'val']}

接着我们看一下训练集和测试集里面ants和bees两种类别图片各自的数量.

  1. dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']}
  2. # 看一下训练集和测试集里面两类的数量
  3. print('Train: ', image_datasets['train'].targets.count(0), image_datasets['train'].targets.count(1))
  4. print('Test:', image_datasets['val'].targets.count(0), image_datasets['val'].targets.count(1))
  5. """
  6. Train:  123 121
  7. Test: 70 83
  8. """

 

模型的建立

因为这里我们会使用预先训练好的模型, 使用预先初始化好的系数. 我们使用resnet18网络.

  1. model = torchvision.models.resnet18(pretrained=True).to(device)

但是, 因为在原始的resnet18中, output是1000. 但是在我们的这个需求里面, output是2. 所以我们修改他的output.

  1. num_ftrs = model.fc.in_features
  2. model.fc = nn.Linear(num_ftrs, 2) # 重新定义 fc：输入节点数不变的情况下，将输出节点改为 2
  3. model = model.to(device)
  4. model.fc
  5. """
  6. Linear(in_features=512, out_features=2, bias=True)
  7. """

 

定义损失函数与优化器

接着我们定义了损失函数和优化器. 同时我们定义了一个可以让学习率逐渐下降的lr_scheduler.

  1. criterion = nn.CrossEntropyLoss()
  2. optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
  4. step_lr_scheduler = lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.8)

 

模型的训练与测试

最后, 我们对上面的模型开始训练, 并进行测试. 同时这次, 我们会保存模型在测试集上最优的一次结果, 保存此时模型的系数. 模型的系数保存在best_model_wts中.

  1. best_model_wts = copycopy.deepcopy(model.state_dict())
  2. best_acc = 0.0
  4. num_epochs = 10
  5. n_total_steps = len(dataloaders['train'])
  7. LossList = [] # 记录每一个epoch的loss
  8. AccuryList = [] # 每一个epoch的accury
  10. for epoch in range(num_epochs):
  11.     # -------
  12.     # 开始训练
  13.     # -------
  14.     model.train() # 切换为训练模型
  15.     totalLoss = 0
  16.     for i, (images, labels) in enumerate(dataloaders['train']):
  17.         images = images.to(device) # 图片大小转换
  18.         labels = labels.to(device)
  20.         # 正向传播以及损失的求取
  21.         outputs = model(images)
  22.         loss = criterion(outputs, labels)
  23.         totalLoss = totalLoss + loss.item()
  25.         # 反向传播
  26.         optimizer.zero_grad() # 梯度清空
  27.         loss.backward() # 反向传播
  28.         optimizer.step() # 权重更新
  29.         step_lr_scheduler.step()
  31.         if (i+1) % 3 == 0:
  32.             print('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}, LR: {:.4f}'.format(epoch+1, num_epochs, i+1, n_total_steps, totalLoss/(i+1), optimizer.param_groups[0]['lr']))
  34.     LossList.append(totalLoss/(i+1))
  36.     # ---------
  37.     # 开始测试
  38.     # ---------
  39.     model.eval()
  40.     with torch.no_grad():
  41.         correct = 0
  42.         total = 0
  43.         for images, labels in dataloaders['val']:
  44.             images = images.to(device)
  45.             labels = labels.to(device)
  46.             outputs = model(images)
  48.             _, predicted = torch.max(outputs.data, 1) # 预测的结果
  49.             total += labels.size(0)
  50.             correct += (predicted == labels).sum().item()
  51.         acc = 100.0 * correct / total # 在测试集上总的准确率
  52.         AccuryList.append(acc)
  54.         if acc > best_acc:
  55.             best_acc = acc
  56.             best_model_wts = copycopy.deepcopy(model.state_dict())
  57.             print('更新模型参数, {}'.format(epoch))
  58.         print('Accuracy of the network on the {} test images: {} %'.format(total, acc))
  60. print("模型训练完成")
  61. """
  62. Epoch [10/10], Step [3/13], Loss: 0.1648, LR: 0.0001
  63. Epoch [10/10], Step [6/13], Loss: 0.1952, LR: 0.0001
  64. Epoch [10/10], Step [9/13], Loss: 0.2066, LR: 0.0001
  65. Epoch [10/10], Step [12/13], Loss: 0.2060, LR: 0.0001
  66. Accuracy of the network on the 153 test images: 93.4640522875817 %
  67. 模型训练完成
  68. """

最终我们的模型在测试集上的准确率可以得到90%以上. 准确率如下图所示:

Pytorch入门教程14-Pytorch中的经典网络结构

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南
  • 本文由 发表于 2020年10月13日07:36:42
  • 转载请务必保留本文链接：https://mathpretty.com/12571.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: