不平衡数据机器学习的四种处理策略---采用R语言实现
2016-09-04 数控小V 数控小V
在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。实际上，经典的统计学建模（如回归），同样也是不稳定的。那么，这种结果是为何发生的呢?到底是什么因素影响了这些算法的表现? 在不平衡的数据中，任一算法都没法从样本量少的类中获取足够的信息来进行精确预测。因此，机器学习算法常常被要求应用在平衡数据集上。那我们该如何处理不平衡数据
在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。实际上，经典的统计学建模（如回归），同样也是不稳定的。那么，这种结果是为何发生的呢?到底是什么因素影响了这些算法的表现? 在不平衡的数据中，任一算法都没法从样本量少的类中获取足够的信息来进行精确预测。因此，机器学习算法常常被要求应用在平衡数据集上。那我们该如何处理不平衡数据集?本文会介绍一些相关方法，它们并不复杂只是技巧性比较强。 本文会介绍处理非平衡分类数据集的一些要点，并主要集中于非平衡二分类问题的处理。一如既往，我会尽量精简地叙述，在文末我会演示如何用R中的ROSE包来解决实际问题。 什么是不平衡分类 不平衡分类是一种有监督学习，但它处理的对象中有一个类所占的比例远远大于其余类。比起多分类，这一问题在二分类中更为常见。(注：下文中占比较大的类称为大类，占比较小的类称为小类) 不平衡一词指代数据中响应变量(被解释变量)的分布不均衡，如果一个数据集的响应变量在不同类上的分布差别较大我们就认为它不平衡。 举个例子，假设我们有一个观测数为100000的数据集，它包含了哈
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章，或“梅斯号”自媒体发布的文章，仅系出于传递更多信息之目的，本站仅负责审核内容合规，其内容不代表本站立场，本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
#R语言#
30
#处理策略#
34
#语言#
26
#机器#
26
学习一下，好
65
学习啦，，，，
58
谢谢分享。。，，
69
继续关注！
67
不是很懂，继续学习
62
不是特别懂，看来要多学习
27