RFE 特征递归消除

特征递归消除是按照一定步长或比例(这个步长我觉得是可以固定的,也可以是逐步变小的),不断删减重要性最低的特征,看不同特征子集上模型valid或者CV的评分,最后选取最好的特征子集。
详细点说,一定步长,比如可以重要性最低的5个,一定比例比如最差的5%,但是后续变量越来越少的话,每个重要性都很高,这个时候可以降低一下步长。
删减特征后,refit模型,又按照refit模型的变量重要性就行排序,删减重要性低的变量,这个过程就是所谓的递归。

留言

熱門文章