XGboost和GBDT的不同
传统GBDT以CART作为基分类器,XGboost还支持线性分类器,
传统GBDT在优化时只用到一阶导数信息,XGboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数
XGboost在代价函数里加入了正则项,用于控制模型的复杂度。
XGboost支持列抽样