机器学习09_随机森林

集成学习方法

集成学习通过建立几个模型组合来解决单一预测问题。工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合组合预测，因此优于任何一个单分类的预测

随机森林

• 随机森林就是集成学习方法的一种

• 随机

• 森林：包含多个决策树

原理过程

训练集：N个样本

特征值：M个特征

目标值

随机

1. 两个随机
   1. 训练集随机 - N个样本中随机有放回抽样N个
      1. bootstrap 随机有放回抽样
      2. 新的树训练集
   2. 特征随机 - 从M个特征中随机抽取m个特征（M > m）降维

API

总结

• 有非常好的准确率
• 能够有效的运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性