人工智能学习 3 - 人工智能理论科普 FAQ

基础概念快问快答 FAQ

深度学习机器学习和人工智能的关系

深度学习(DL) ⊂ 机器学习(ML) ⊂ 人工智能(AI)
什么是机器学习

机器学习即从数据集中, 寻找一个数据关系函数: 训练数据集-优化模型函数-完成新的任务
入门机器学习任务都有哪些例子
- 手写数字识别
- 猫狗识别
- 语言情感
- …
样本, 特征, 特征向量, 特征维度, 类别, 类别标签

手写数字识别中
- 数据集: 6000 个训练图 训练集: 拟合找到函数; 1000 个测试图 测试集: 判断函数优劣
- 每个小图片 - 称为 样本
- 每个图片中 28*28 = 784 个像素点 - 每个点是 0-255 的数字叫做 特征, 784 个点叫 特征维度, 784 个 0-255 的数字构成一个向量为 特征向量, 特征向量中点在空间中的分布叫 特征空间
- 最终结果为 0-9 的 10 个数字 - 称为 类别, 0-9 每个数字都是一个 类别标签
关于 TPE
1. 任务分类 Task T 都有哪些种分类
  - 分类: 离散数据
  - 回归: 连续数据
  - 聚类: 自动找到 簇 分类
  - 特征降维
  - …
2. 性能度量 Performance P 的方法有哪些
  - 正确率: 分类任务
  - 均方差: 回归任务
3. 经验观测 Experience E 范式
  
  学习算法从数据集中获取经验 -> 优化函数系数
  - 监督学习: 有标签 - 分类, 回归
  - 无监督学习: 无标签 - 聚类
  - 半监督学习: 有一些有标签, 一些无标签
  - 强化学习: 学习反馈
误差
- 误差: 函数结果与实际结果的距离
- 训练误差: 训练数据集
- 测试误差: 测试数据集
- 泛化能力: 未知数据集
- 容量: 模拟拟合能力的大小
- 过拟合: 训练数据集上训练多了, 实际测试数据集表现不好
- 欠拟合: 训练数据集上训练不够
过拟合/欠拟合的原因: 当前模型参数容量与问题难度, 任务复杂程度不匹配.

训练误差测试误差原因

小小泛化能力强(\(^o^)/~ 目标)

小大过拟合

大大欠拟合

大小不可能出现
模型的选择方法
- 奥卡姆剃刀: 多个假设与经验观测一致, 选择最简单的那个(模型容量最低的)
- 没有免费午餐定理: 没有一个机器学习算法总比其他算法好
数据集的划分方法
- 留出法: 总数据按 8:2 划分训练数据和测试数据, 两者互斥, 需要数据充分
- 自助法: 给定 m 个样本的 数据集 D, 随机取样放入 训练集 D' 后放回(有放回), 重复 m 次得到含有 m 个样本的新 训练集 D' (大小为 m, 数据有重复), 那么测试集为 D - D', 适合小样本: 参考: https://blog.csdn.net/sdf57/article/details/119063276
- K 折交叉验证: 样本分为 k 份, 每次使用 1 份样本(第 i 份)验证, 其余 k-1 份训练, 测试误差采样 k 次平均测试误差
- 留一法: K=样本数量, 每次只留 1 个样本验证
模型的评价方法
- 回归问题
  1. 均方差: sum(pow(delta Y, 2)) / N - 更好的求导
  2. 平均绝对误差: sum(abs(delta Y))) / N
- 分类问题
  
  混淆矩阵: 正类 P, 负类 N; 预测正确 T, 预测错误 F
  
  真实值\预测值 1 0
  
  1 TP 正确预测正类 FN 错误预测正类
  
  0 FP 错误预测反类 TN 正确预测反类
  - Precision 查准率, 正确率, 准确率: TP/(TP+FP) - 识别为正类的样本中, 真正为正类的比例
  - Recall 查全率 / Sensitivity 敏感值: TP/(TP+FN) - 正确的正类占所有正类的比例
  - Accuracy 正确率: T/(T+F) = (TP+TN)/(TP+FP+TN+FN) - 预测正确占总总样本比例
  参考: 混淆矩阵 Confusion Matrix https://blog.csdn.net/seagal890/article/details/105059498
  
  预测值 (预测区间) vs 置信度 (置信区间): https://zhuanlan.zhihu.com/p/366307027
  
  P-R 曲线图, 查准率和查全率在采样不同置信度时彼此矛盾, 曲线下方面积记为 AP值, AP 值越大可以表示模型表现越好. 但是这个值不太好求得, 但是当 P=R 时, 查全率和查准率都比较高, 这个点记为的平衡点, 该点的调和平均值记为 F1 分数:
  - F1 = 2*P*R/(P+R) = 2*TP / (|D| + TP -TN), 其中 D 为数据集中样本总量
  参考: 机器学习中 F1 分数的简介与计算 https://www.v7labs.com/blog/f1-score-guide
参考书籍
1. 机器学习, 周志华, 清华大学出版社, 2016
2. 统计学习方法, 李航, 清华大学出版社, 2012
3. Deep Learning, I.Goodfellow, Y.Bengio and A.courville, 2016
4. Machine Learning in Action, P.Harrington, 人民邮电出版社
5. Standard Web Course by Andrew Ng: https://www.coursera.org/course/ml
6. Standard Web Course by Fei-fei Li: https://cs231n.stanford.edu
没有免费午餐定理

没有免费的午餐定理(No Free Lunch，简称 NFL). 如果不对特征空间有先验假设, 则所有算法的平均表现是一样的.

我们认为: 特征差距较小的样本更有可能是同一类. 但是这一定是对的么? 比如火鸡理论.

训练误差	测试误差	原因
小	小	泛化能力强(\(^o^)/~ 目标)
小	大	过拟合
大	大	欠拟合
大	小	不可能出现

真实值\预测值	1	0
1	TP 正确预测正类	FN 错误预测正类
0	FP 错误预测反类	TN 正确预测反类