機器學習基石上 (Machine Learning Foundations)—Mathematical Foundations

  • A+
所属分类:机器学习
摘要这一篇文章是林轩田老师的机器学习基石上的笔记, 概括了每一周的内容.

简介

自己最近在看林軒田老师的<機器學習基石上>这门课, 就在这里记录一下. 因为已经有人做了详细的记录, 我就这里就直接记录一下参考链接, 和我觉得一些补充的内容.

我自己是在coursera上进行学习的, 里面会有讨论组在讨论相关的问题. 機器學習基石上

 

课程内容

第一周课程内容-机器学习的定义

第一周给出了一个机器学习的定义, 可以简单分为四个部分.

  • 什么是机器学习
  • 机器学习的应用
  • 机器学习的整体流程(这里有一个整体的流程图, 里面的概念之后会经常使用到)
  • 机器学习与其他领域的关系
機器學習基石上 (Machine Learning Foundations)---Mathematical Foundations

机器学习的目标是: 根据training examples, 通过learning algorithmhypothesis set中找出一个最好的g, 使得g与f是接近的.

第一周笔记(PLA之前都是第一周的, 后面是第二周的): Coursera台大机器学习基础课程学习笔记1 -- 机器学习定义及PLA算法

 

第二周课程内容-解决是非问题(线性分类器)

我自己感觉第二周的内容是其实可以理解为对第一周的整体流程给出了一个详细的例子. 对其中每一个概念给出一个详细的例子. 第二周的内容也是可以分为四个部分.

  • 当上面hypothesis set是线性分类器的情况
  • 通过(learning algorithm), 这里介绍的是PLA, 来找出hypothesis set中最优的解.
  • 证明PLA算法在data是线性可分的情况下一定是可以收敛的. (在这一部分的内容里, 课件里面没有给出PLA收敛的后续的详细的说明, 具体可以参考一下下面的笔记.)
  • 简单修正PLA算法, 可以处理线性不可分情况.

下面是详细的例子来对第一周的内容进行说明, 主要看一下hypothesis setlearning algorithm是什么.

機器學習基石上 (Machine Learning Foundations)---Mathematical Foundations

第二周笔记(PLA之后是第二周的): Coursera台大机器学习基础课程学习笔记1 -- 机器学习定义及PLA算法

 

第三周课程内容-机器学习的分类

第三周的内容是按照不同的角度对机器学习进行分类, 我觉得这一周的课时还是很有启发性的. 这一部分还是分为四部分来介绍.

  • 按照output space分类
    • 多分类问题(multiclass classification)
    • 回归问题(regression), 这里output是属于(lower, upper)
    • 结构化问题(structure), 这里input可能是一段(一个句子), output是与输入的结构有关(如这个句子中每个词的词性, 这里不是一个多分类问题, 因为要把词放在句子里才有词性)
  • 按照data label分类
    • 监督学习(supervised), 有data和label
    • 无监督学习(unsupervised), 只有data, 没有label
    • 半监督学习, 少量的数据有label, 但是大部分数据没有label
    • 强化学习, 有的时候很难评价这一步是好还是不好, 要看一个整体的过程. 或者需要不同的有反馈来进行学习.
  • 按照protocol分类(这个是按照训练方式来分类)
    • batch训练, 每次以一个batch进行输入
    • online训练, 是以序列进行输入, 例如现在有x, 根据g(x)=y', 得到反馈实际是y, 则对g进行修正. (例如强化学习)
    • active训练, 机器也可以主动提出问题. 例如机器可以提出某个x, 说不是到对于的y是什么(可能是没有得到很高的概率), 我们给出对应的解答
  • 按照input space分类
    • 具体特征(concrete feature), 人们根据自己的经验提取的特征. 这些是有实际的意义的. 例如做硬币的分类, 根据硬币的重量和大小.
    • 原始特征(raw feature), 例如图像分类, 输入就是图像, 这里图像就是原始特征. (我们通过特征工程等方式, 将原始特征转换为具体特征.)
    • 抽象特征(abstract feature), 抽象特征例如用户id或是物品id, 这些特征没有实际的意义. 例如某个用户id物品id打A分, 我们要预测这个用户给其他的打分. (我们通过某些方式, 将抽象特征转换为具体特征)

第三周笔记Coursera台大机器学习基础课程学习笔记2 -- 机器学习的分类

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: