list排序 spyder重载module 大数据量建模
1. list的排序方法,list.sort()这个直接会replace掉之前的list,还有内置函数sorted(list),sorted也可用于dict的排序,且可以接受不同的排序方法函数
2. notebook的reload module方法我忘记了,但是我发现spyder会自动reload更改过的module
3. 面对数据量太大的情况,要节省内存,我现在目前掌握的方法:
2. notebook的reload module方法我忘记了,但是我发现spyder会自动reload更改过的module
3. 面对数据量太大的情况,要节省内存,我现在目前掌握的方法:
- dataframe存储数据的时候用合适dtype去存储
- lightGBM创建dataset的时候用values,不要用dataframe?
- 有些三方的module解决这个问题,有些能够实现快速读入csv
- 训练参数设置的时候用小的CV,用小的学习率,设置训练抽样比例等
留言
張貼留言