机器学习文章总结

简介

这里会把一些关于机器学习的文章进行汇总，方便查找与学习。可以使用下面的方式进行全屏阅读。

下面是每一部分的整理，最后都是相应的链接，可以点击进行查看。

一些网络资料

在线书籍

• Deep Learning在线原版书籍 : Deep Learning--An MIT Press book
• Understanding Machine Learning(这本书的pdf是可以下载的) : Understanding Machine Learning: From Theory to Algorithms
• 上面这本书的pdf链接 : Understand machine learning-PDF

在线课程

• CS229: CS229 - Machine Learning
• CS229最新的安排: CS229--Syllabus and Course Schedule
• 徐亦达课程: machine-learning-notes
• 李宏毅课程: Li Hongyi Courses, https://speech.ee.ntu.edu.tw/~tlkagk/courses.html

数据预处理

• 统计值计算, 矩阵运算, 奇异值分解, 抽样乱序 : Python科学运算–简单汇总
• 离散数据处理, 转one-hot或是标号 : 数据预处理说明(操作分析)
• 处理样本不平衡的方法(采样的方式) : 数据样本不平衡时处理方法(Resampling strategies for imbalanced datasets)
• 混淆矩阵可视化的方式 : 混淆矩阵的绘制(Plot a confusion matrix)
• 提取原始特征中重要特征的一些基础方法 : 数据关键特征的提取

图像处理

• 图像的显示(RGB与BGR的问题): 图像处理-matplotlib显示opencv图像
• Pytorch图像的处理, 显示和保存(make_grid和save_image): Pytorch图像处理,显示与保存

自然语言处理

• TF-IDF的简单介绍 : TF-IDF简单介绍
• Word Embedding的相关介绍(Pytorch): Word Embedding的简单介绍

网络的搭建

基础知识

• Logistic Regression, 逻辑回归的原理与实验 : 分类问题–Logistic Regression方法介绍
• 反向传播及PyTorch初始化weight与打印系数介绍 : Backpropagation(反向传播)方法介绍

CNN网络

• CNN网络文章总结(这里汇总了所有写的CNN的文章) : CNN文章总结(简单汇总)
• CNN基础知识介绍, 1. CNN为什么适用于图像, 2. Convolution与Pooling的介绍, 3. CNN与Fully-Connected Network的关系, Convolutional Neural Networks(CNN)介绍–Pytorch实现
• Transposed Convolution与Unpooling的介绍(逆卷积的简单理解和实验) : 详解逆卷积操作–Up-sampling with Transposed Convolution
• 卷积层可视化, 这一篇文章有很详细的讲解hook的使用 : CNN可视化Convolutional Features
• CNN实现MNIST分类, 与生成攻击样本(攻击样本生成的一种简单的想法) : 使用CNN在MNIST上实现简单的攻击样本
• Deep dream(一篇论文的复现) : PyTorch实现Deep Dream
• Image Style Transform, 这一篇文章有讲解Style Loss是如何想到的，会有什么含义 : Image Style Transform–关于图像风格迁移的介绍
• CNN在NLP上的应用(两篇论文的简单阅读讲解) : CNN在NLP上的应用–简单介绍
• CNN发展简介 :  Development of Convolutional Neural Network(CNN的发展简介)

RNN网络

• RNN网络的简单介绍(背景和原理): Recurrent Neural Network(RNN)简单介绍
• RNN网络的例子一, MNIST图片分类: RNN for Image Classification(RNN图片分类–MNIST数据集)
• RNN的例子二, 文本分类: RNN完成姓名分类
• RNN例子三, 时间序列分析: GRU for Time Series in Pytorch–Pytorch实现时间序列分析
• RNN例子四, 情感分类(这一篇将所有的步骤都写得比较详细, 例如数据预处理, 可以参考): GRU for Time Series in Pytorch–Pytorch实现时间序列分析
• Seq2Seq模型例子(简单的翻译实现): Sequence to Sequence Learning with Neural Networks–使用Seq2Seq完成翻译
• RNN的注意力机制(简单介绍和例子): Seq2Seq with Attention(注意力模型介绍)

GAN网络

• GAN的简单原理(最原始的GAN): Generative Adversarial Network简单介绍(GAN)–01
• GAN的简单例子一: 简单GAN的实验–生成高斯分布数据(Pytorch)
• GAN的简单例子二: GAN实验–生成手写数字(Pytorch)

模型解释

• 模型解释简单说明以及总结: 模型的可解释性简单说明(Interpreting machine learning models)
• Saliency Maps : Saliency Maps的原理与简单实现(使用Pytorch实现)
• LIME(So instead of trying to understand the entire model at the same time, a specific input instance is modified and the impact on the predictions are monitored.)(从局部进行解释), 模型解释-LIME的原理和实现
• 使用LIME来解释Pytorch生成的模型, Pytorch例子演示及LIME使用例子
• Shapley Value, 模型解释–Shapley Values
• SHapley Additive exPlantions (SHAP), 模型解释–SHAP Value的简单介绍

模型的优化

查看模型效果

• 交叉检验方法 : 交叉检验(Cross Validation)简介

欠拟合方法(在train set上结果不好)

• Batch Normalization方法 : Batch Normalization技术介绍
• 四种Normalization方法的比较: BatchNorm, LayerNorm, InstanceNorm和GroupNorm总结

过拟合方法(在test set上结果不好)

• 正则化技术(一般不用在网络上) : 正则化技术介绍
• Dropout技术介绍(神经网络特有的方法) : Dropout技术介绍

框架的学习-PyTorch的学习使用

Pytorch 快速入门

• Pytorch入门教程01-张量(Tensor)的介绍
• Pytorch入门教程02-梯度的求解
• Pytorch入门教程03-正向传播与反向传播
• Pytorch入门教程04-非叶子节点梯度保存
• Pytorch入门教程05-梯度下降算法
• Pytorch入门教程06-损失函数和优化器
• Pytorch入门教程07-Pytorch实现完整线性回归
• Pytorch入门教程08-激活函数介绍
• Pytorch入门教程09-数据加载器
• Pytorch入门教程10-数据预处理
• Pytorch入门教程11-Softmax函数和交叉熵
• Pytorch入门教程12-全连接网络的手写数字识别(MNIST)
• Pytorch入门教程13-卷积神经网络的CIFAR-10的识别
• Pytorch入门教程14-Pytorch中的经典网络结构
• Pytorch入门教程15-Pytorch中模型的保存和加载
• Pytorch入门教程16-Pytorch中模型的定义和参数初始化

其他的 Pytorch 的知识

• Pytorch的一些记录, 记录了一些常用的操作 : PyTorch使用记录
• Pytorch学习记录2，第一篇太长了，就重新开一篇继续写 : PyTorch使用记录02
• 可以看一下训练的完整的步骤 : PyTorch快速使用介绍–实现分类
• PyTorch完整的框架, 这里实现了使用for循环快速修改网络结构，方便调试 : Pytorch模型实例-MNIST dataset
• 关于动态改变网络结构的另一篇介绍 : Pytorch动态改变网络结构(Dynamically add or delete layers)
• Pytorch Fizz Buzz: Fizz Buzz in Pytorch
• Pytorch导入数据的方式: Pytorch训练时候导入大量数据

工具的使用

• numpy的使用 : Python数据分析之Numpy
• pandas使用 : Python数据分析之Pandas
• Format的相关说明(使结果显示更加规整) : Python使用format记录
• 绘图工具 : Python数据处理之Matplotlib学习
• 让图变得更好看 : 数据处理之可视化之Seaborn
• 神经网络可视化 : 深度学习模型可视化-Netron
• 一些工具函数(检查图片通道个数, 计算准确率和AUC等): 常用的工具函数整理
• 在使用远程连接的时候, 一些要注意的 : 机器学习服务器使用一些命令记录

根据数据集统计

Iris数据集

这个数据集比较简单, 我们可以使用这个数据集来做一些测试之类的活.

• 主成分分析(Principal component analysis, PCA)例子–Python, 这里有对Iris数据集的详细解释, 和数据处理过程.
• matplotlib绘图优化-绘制分类器边界, 这里进行了多分类的任务.

MNIST数据集

• Pytorch模型实例-MNIST dataset
• 使用CNN在MNIST上实现简单的攻击样本

网络流量数据集

• KDD99数据集与NSL-KDD数据集介绍

其他

第一次使用有GPU的电脑进行模型的训练.

结语