avatar

机器学习11_欠拟合与过拟合

什么时欠拟合与过拟合

  • 欠拟合:一个假设在训练数据上不能获得更好的拟合,并且在测试数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象(模型过于简单

  • 过拟合:一个假设在训练数据上能获得比其他假设更好的拟合,但是在测试数据集上却不能很好的拟合数据,此时认为这个假设出现了过拟合现象(模型过于复杂

  • 欠拟合:数据集上表现不好,测试集上表现也不好

  • 过拟合:数据集上表现好,测试集上表现不好

欠拟合

  • 学习数据的特征少
  • 解决:增加数据的特征数量

过拟合

  • 原始特征过多,存在嘈杂特征,模型过于复杂是因为模型尝试去兼顾各个测试数据点
  • 解决:正则化

正则化

  1. L1:损失函数 + λ(lamuda)惩罚项 绝对值 LASSO
  2. L2(更常用)
    1. 损失函数 + λ(lamuda)惩罚项 平方 Ridge - 岭回归

文章作者: wangzun233
文章链接: https://wangzun233.top/2020/12/23/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A011-%E6%AC%A0%E6%8B%9F%E5%90%88%E4%B8%8E%E8%BF%87%E6%8B%9F%E5%90%88/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 WangZun233