背景#

polars学习系列文章，第7篇缺失值

该系列文章会分享到github，大家可以去下载jupyter文件，进行参考学习

仓库地址：https://github.com/DataShare-duo/polars_learn

小编运行环境#

1
import sys
2

3
print('python 版本：',sys.version.split('|')[0])
4
#python 版本： 3.11.9
5

6
import polars as pl
7

8
print("polars 版本：",pl.__version__)
9
#polars 版本： 0.20.22

polars 中缺失值的定义#

在 polars 中缺失值用 null 来表示，只有这1种表示方式，这个与 pandas 不同，在 pandas 中 NaN（NotaNumber）也代表是缺失值，但在polars中把 NaN 归属为一种浮点数据

1
df = pl.DataFrame(
2
    {
3
        "value": [1,2,3, None,5,6,None,8,9],
4
    },
5
)
6
print(df)
7
#shape: (9, 1)
8
┌───────┐
9
│ value │
10
│ ---   │
11
│ i64   │
12
╞═══════╡
13
│ 1     │
14
│ 2     │
15
│ 3     │
16
│ null  │
17
│ 5     │
18
│ 6     │
19
│ null  │
20
│ 8     │
21
│ 9     │
22
└───────┘

polars中缺失值包括的2种元信息#

缺失值数量，可以通过 null_count 方法来快速获取，因为已经是计算好的，所以调用该方法会立即返回结果
有效位图（validity bitmap），代表是否是缺失值，在内存中用 0 或 1 进行编码来表示，所占的内存空间非常小，通常占用空间为（数据框长度 / 8) bytes，通过 is_null 方法来查看数据是否是缺失值

1
null_count_df = df.null_count()
2
print(null_count_df)
3
#shape: (1, 1)
4
┌───────┐
5
│ value │
6
│ ---   │
7
│ u32   │
8
╞═══════╡
9
│ 2     │
10
└───────┘
11

12

13
is_null_series = df.select(
14
    pl.col("value").is_null(),
15
)
16
print(is_null_series)
17
#shape: (9, 1)
18
┌───────┐
19
│ value │
20
│ ---   │
21
│ bool  │
22
╞═══════╡
23
│ false │
24
│ false │
25
│ false │
26
│ true  │
27
│ false │
28
│ false │
29
│ true  │
30
│ false │
31
│ false │
32
└───────┘

缺失值填充#

缺失值填充主要通过 fill_null方法来处理，但是需求指定填充缺失值的方法

常量，比如用 0 来填充
填充策略，例如：向前、向后等
通过表达式，比如利用其他列来填充
插值法

1
df = pl.DataFrame(
2
    {
3
        "col1": [1, 2, 3],
4
        "col2": [1, None, 3],
5
    },
6
)
7
print(df)
8
#shape: (3, 2)
9
┌──────┬──────┐
10
│ col1 ┆ col2 │
11
│ ---  ┆ ---  │
12
│ i64  ┆ i64  │
13
╞══════╪══════╡
14
│ 1    ┆ 1    │
15
│ 2    ┆ null │
16
│ 3    ┆ 3    │
17
└──────┴──────┘

常量填充#

1
fill_literal_df = df.with_columns(
2
    fill=pl.col("col2").fill_null(pl.lit(2)),
3
)
4
print(fill_literal_df)
5
#shape: (3, 3)
6
┌──────┬──────┬──────┐
7
│ col1 ┆ col2 ┆ fill │
8
│ ---  ┆ ---  ┆ ---  │
9
│ i64  ┆ i64  ┆ i64  │
10
╞══════╪══════╪══════╡
11
│ 1    ┆ 1    ┆ 1    │
12
│ 2    ┆ null ┆ 2    │
13
│ 3    ┆ 3    ┆ 3    │
14
└──────┴──────┴──────┘

填充策略#

填充策略：{‘forward’, ‘backward’, ‘min’, ‘max’, ‘mean’, ‘zero’, ‘one’}

1
fill_df = df.with_columns(
2
    forward=pl.col("col2").fill_null(strategy="forward"),
3
    backward=pl.col("col2").fill_null(strategy="backward"),
4
)
5
print(fill_df)
6
#shape: (3, 4)
7
┌──────┬──────┬─────────┬──────────┐
8
│ col1 ┆ col2 ┆ forward ┆ backward │
9
│ ---  ┆ ---  ┆ ---     ┆ ---      │
10
│ i64  ┆ i64  ┆ i64     ┆ i64      │
11
╞══════╪══════╪═════════╪══════════╡
12
│ 1    ┆ 1    ┆ 1       ┆ 1        │
13
│ 2    ┆ null ┆ 1       ┆ 3        │
14
│ 3    ┆ 3    ┆ 3       ┆ 3        │
15
└──────┴──────┴─────────┴──────────┘

通过表达式#

1
fill_median_df = df.with_columns(
2
    fill=pl.col("col2").fill_null(pl.median("col2")), #类型会转换为浮点型
3
)
4
print(fill_median_df)
5
#shape: (3, 3)
6
┌──────┬──────┬──────┐
7
│ col1 ┆ col2 ┆ fill │
8
│ ---  ┆ ---  ┆ ---  │
9
│ i64  ┆ i64  ┆ f64  │
10
╞══════╪══════╪══════╡
11
│ 1    ┆ 1    ┆ 1.0  │
12
│ 2    ┆ null ┆ 2.0  │
13
│ 3    ┆ 3    ┆ 3.0  │
14
└──────┴──────┴──────┘

通过插值法#

1
fill_interpolation_df = df.with_columns(
2
    fill=pl.col("col2").interpolate(),
3
)
4
print(fill_interpolation_df)
5
#shape: (3, 3)
6
┌──────┬──────┬──────┐
7
│ col1 ┆ col2 ┆ fill │
8
│ ---  ┆ ---  ┆ ---  │
9
│ i64  ┆ i64  ┆ f64  │
10
╞══════╪══════╪══════╡
11
│ 1    ┆ 1    ┆ 1.0  │
12
│ 2    ┆ null ┆ 2.0  │
13
│ 3    ┆ 3    ┆ 3.0  │
14
└──────┴──────┴──────┘

历史相关文章#

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货