以上步骤中,能够得出一个结论,在构建决策树的过程中,最重要的是如何找到最好的分割点。决策树值得注意的问题是过拟合问题,整个算法必须解决「如何停止分割」和「如何选择分割」两个关键问题。 最简单的做法就是设定树的深度或枝叶的最少样本量。但是,过少的样本量又不具有代表性,所以一般情况,可以使用交叉验证的方法。交叉验证就是可以使用一部分数据用于模型的训练,另一部分数据可以用来评估模型的性能。业内常用的划分方法是讲样本进行50/50分,60/40分或者80/20分。 三、模型确立过程 在建模前期,首要考虑的事情就是先确定指标,以及对样本的定义。购物性别指的是什么?通过哪些数据来确定购物性别,样本的准确性,如何验证数据的可信度等。 四、购物性别的定义 先看下图,具体的逻辑可从图中查看。一般来讲,用户填写的资料不一定真实,我们对他/她的性别数据持怀疑态度,所以,就需要其他数据进行辅助证明其性别。 订单数据能够真实反映用户的购买心态,预测购买行为,并且能够通过购买商品的所属类别,判断用户的购买倾向,最后得到性别特征类目。不过本文就不展开探讨甄别特征类目的区分方法了。
根据数据结果,最终,确认了购物性别的定义。分为: 购物性别男:N月购买的男性特征类目子下单数> N月购买的女性特征类目子下单数; 购物性别女:N月购买的男性特征类目子下单数> N月购买的女性特征类目子下单数; 购物性别中性:未下单男女特征类目。 N需要具体根据业务场景来定。 五、建模数据准备过程 本节是具体的操作过程,模型的实操阶段。一般来讲,不同模型的训练其实大体雷同。从技术上来讲,各家算法大多使用spark,不同点是所运算的模型都是针对于场景来定的。
在全部样本中,取80%的数据用于训练模型; 在全部样本中,取20%的数据用户数据测试。 这种方式可以更好的根据数据的规模,提高模型的准确性。 六、模型效果分析 根据各类参数的评估结果,以及人工经验选定的模型参数,建立模型。值得注意的是,决策树的深度不要过深,以防止过拟合的问题:
行业内当前采用数据挖掘、机器学习和推荐系统中的评测指标:准确率(Precision)、召回率(Recall)。准确率是应用最广的数据指标,也很清晰易懂,以男性为例: 准确率=命中的男性用户数量/所有预测男性数量,一般来讲,准确率可以评估模型的质量,他是很直观的数据评价,但并不是说准确度越高,算法越好。 召回率=命中的男性用户数量/所有男性数量,反映了被正确判定的正例占总的正例的比重。 模型建立完后,需根据模型的结果与预期的对比,进行调优。 七、最后要说的 购物性别定义对于用户精准营销十分重要,疑难杂症,对症下药,才能出现更好的疗效。 (责任编辑:admin) |