list排序 spyder重载module 大数据量建模

1. list的排序方法,list.sort()这个直接会replace掉之前的list,还有内置函数sorted(list),sorted也可用于dict的排序,且可以接受不同的排序方法函数

2. notebook的reload module方法我忘记了,但是我发现spyder会自动reload更改过的module

3. 面对数据量太大的情况,要节省内存,我现在目前掌握的方法:

  • dataframe存储数据的时候用合适dtype去存储
  • lightGBM创建dataset的时候用values,不要用dataframe?
  • 有些三方的module解决这个问题,有些能够实现快速读入csv
  • 训练参数设置的时候用小的CV,用小的学习率,设置训练抽样比例等

留言

熱門文章