背景#

polars学习系列文章，第3篇数据类型转换
该系列文章会分享到github，大家可以去下载jupyter文件

仓库地址：https://github.com/DataShare-duo/polars_learn

小编运行环境#

1
import sys
2

3
print('python 版本：',sys.version.split('|')[0])
4
#python 版本： 3.11.5
5

6
import polars as pl
7

8
print("polars 版本：",pl.__version__)
9
#polars 版本： 0.20.22

数据类型转换#

数据类型转换，主要是通过 cast 方法来进行操作，该方法中有个参数 strict ，该参数决定当原数据类型不能转换为目标数据类型时，应该如何处理

严格模式， strict=True(该参数默认是True)，就会进行报错，打印出详细的错误信息
非严格模式， strict=False ,不会报错，无法转换为目标数据类型的值都会被置为 null

pandas 中数据类型转换使用的是 astype 方法

示例#

数值类型 Numerics

浮点型数值转换为整型时，会向下取整；大范围的数据类型转换为小范围数据类型时，如果数值溢出时，默认会报错，如果设置了 strict=False，则会被置为 null

1
df = pl.DataFrame(
2
    {
3
        "integers": [1, 2, 3, 4, 5],
4
        "big_integers": [1, 10000002, 3, 10000004, 10000005],
5
        "floats": [4.0, 5.0, 6.0, 7.0, 8.0],
6
        "floats_with_decimal": [4.532, 5.5, 6.5, 7.5, 8.5],
7
    }
8
)
9

10
print(df)
11
shape: (5, 4)
12
┌──────────┬──────────────┬────────┬─────────────────────┐
13
│ integers ┆ big_integers ┆ floats ┆ floats_with_decimal │
14
│ ---      ┆ ---          ┆ ---    ┆ ---                 │
15
│ i64      ┆ i64          ┆ f64    ┆ f64                 │
16
╞══════════╪══════════════╪════════╪═════════════════════╡
17
│ 1        ┆ 1            ┆ 4.0    ┆ 4.532               │
18
│ 2        ┆ 10000002     ┆ 5.0    ┆ 5.5                 │
19
│ 3        ┆ 3            ┆ 6.0    ┆ 6.5                 │
20
│ 4        ┆ 10000004     ┆ 7.0    ┆ 7.5                 │
21
│ 5        ┆ 10000005     ┆ 8.0    ┆ 8.5                 │
22
└──────────┴──────────────┴────────┴─────────────────────┘
23

24
out=df.select(
25
        pl.col("integers").cast(pl.Float32).alias("integers_as_floats"),
26
        pl.col("floats").cast(pl.Int32).alias("floats_as_integers"),
27
        pl.col("floats_with_decimal").cast(pl.Int32).alias("floats_with_decimal_as_integers")
28
    )
29

30
print(out)
31
shape: (5, 3)
32
┌────────────────────┬────────────────────┬─────────────────────────────────┐
33
│ integers_as_floats ┆ floats_as_integers ┆ floats_with_decimal_as_integers │
34
│ ---                ┆ ---                ┆ ---                             │
35
│ f32                ┆ i32                ┆ i32                             │
36
╞════════════════════╪════════════════════╪═════════════════════════════════╡
37
│ 1.0                ┆ 4                  ┆ 4                               │
38
│ 2.0                ┆ 5                  ┆ 5                               │
39
│ 3.0                ┆ 6                  ┆ 6                               │
40
│ 4.0                ┆ 7                  ┆ 7                               │
41
│ 5.0                ┆ 8                  ┆ 8                               │
42
└────────────────────┴────────────────────┴─────────────────────────────────┘
43

44
#如果不溢出的类型转换，可以节省内存
45
out=df.select(
46
        pl.col("integers").cast(pl.Int16).alias("integers_smallfootprint"),
47
        pl.col("floats").cast(pl.Float32).alias("floats_smallfootprint"),
48
    )
49

50
print(out)
51
shape: (5, 2)
52
┌─────────────────────────┬───────────────────────┐
53
│ integers_smallfootprint ┆ floats_smallfootprint │
54
│ ---                     ┆ ---                   │
55
│ i16                     ┆ f32                   │
56
╞═════════════════════════╪═══════════════════════╡
57
│ 1                       ┆ 4.0                   │
58
│ 2                       ┆ 5.0                   │
59
│ 3                       ┆ 6.0                   │
60
│ 4                       ┆ 7.0                   │
61
│ 5                       ┆ 8.0                   │
62
└─────────────────────────┴───────────────────────┘
63

64
try:
65
    out = df.select(pl.col("big_integers").cast(pl.Int8))
66
    print(out)
67
except Exception as e:
68
    print(e)
69
#conversion from `i64` to `i8` failed in column 'big_integers' for 3 out of 5 values: [10000002, 10000004, 10000005]
70

71
out=df.select(pl.col("big_integers").cast(pl.Int8, strict=False))
72
print(out)
73
shape: (5, 1)
74
┌──────────────┐
75
│ big_integers │
76
│ ---          │
77
│ i8           │
78
╞══════════════╡
79
│ 1            │
80
│ null         │
81
│ 3            │
82
│ null         │
83
│ null         │
84
└──────────────┘

字符串类型 Strings

1
df = pl.DataFrame(
2
    {
3
        "integers": [1, 2, 3, 4, 5],
4
        "float": [4.0, 5.03, 6.0, 7.0, 8.0],
5
        "floats_as_string": ["4.0", "5.0", "6.0", "7.0", "8.0"],
6
    }
7
)
8

9
print(df)
10
shape: (5, 3)
11
┌──────────┬───────┬──────────────────┐
12
│ integers ┆ float ┆ floats_as_string │
13
│ ---      ┆ ---   ┆ ---              │
14
│ i64      ┆ f64   ┆ str              │
15
╞══════════╪═══════╪══════════════════╡
16
│ 1        ┆ 4.0   ┆ 4.0              │
17
│ 2        ┆ 5.03  ┆ 5.0              │
18
│ 3        ┆ 6.0   ┆ 6.0              │
19
│ 4        ┆ 7.0   ┆ 7.0              │
20
│ 5        ┆ 8.0   ┆ 8.0              │
21
└──────────┴───────┴──────────────────┘
22

23
out=df.select(
24
        pl.col("integers").cast(pl.String),
25
        pl.col("float").cast(pl.String),
26
        pl.col("floats_as_string").cast(pl.Float64),
27
    )
28

29
print(out)
30
shape: (5, 3)
31
┌──────────┬───────┬──────────────────┐
32
│ integers ┆ float ┆ floats_as_string │
33
│ ---      ┆ ---   ┆ ---              │
34
│ str      ┆ str   ┆ f64              │
35
╞══════════╪═══════╪══════════════════╡
36
│ 1        ┆ 4.0   ┆ 4.0              │
37
│ 2        ┆ 5.03  ┆ 5.0              │
38
│ 3        ┆ 6.0   ┆ 6.0              │
39
│ 4        ┆ 7.0   ┆ 7.0              │
40
│ 5        ┆ 8.0   ┆ 8.0              │
41
└──────────┴───────┴──────────────────┘
42

43
df = pl.DataFrame({"strings_not_float": ["4.0", "not_a_number", "6.0", "7.0", "8.0"]})
44
print(df)
45
shape: (5, 1)
46
┌───────────────────┐
47
│ strings_not_float │
48
│ ---               │
49
│ str               │
50
╞═══════════════════╡
51
│ 4.0               │
52
│ not_a_number      │
53
│ 6.0               │
54
│ 7.0               │
55
│ 8.0               │
56
└───────────────────┘
57

58
#运行会报错
59
out=df.select(pl.col("strings_not_float").cast(pl.Float64))
60

61
#设置非严格模式，忽略错误，置为null
62
out=df.select(pl.col("strings_not_float").cast(pl.Float64,strict=False))
63
print(out)
64
shape: (5, 1)
65
┌───────────────────┐
66
│ strings_not_float │
67
│ ---               │
68
│ f64               │
69
╞═══════════════════╡
70
│ 4.0               │
71
│ null              │
72
│ 6.0               │
73
│ 7.0               │
74
│ 8.0               │
75
└───────────────────┘

布尔类型 Booleans

数值型与布尔型可以相互转换，但是不允许字符型转换为布尔型

1
df = pl.DataFrame(
2
    {
3
        "integers": [-1, 0, 2, 3, 4],
4
        "floats": [0.0, 1.0, 2.0, 3.0, 4.0],
5
        "bools": [True, False, True, False, True],
6
    }
7
)
8

9
print(df)
10
shape: (5, 3)
11
┌──────────┬────────┬───────┐
12
│ integers ┆ floats ┆ bools │
13
│ ---      ┆ ---    ┆ ---   │
14
│ i64      ┆ f64    ┆ bool  │
15
╞══════════╪════════╪═══════╡
16
│ -1       ┆ 0.0    ┆ true  │
17
│ 0        ┆ 1.0    ┆ false │
18
│ 2        ┆ 2.0    ┆ true  │
19
│ 3        ┆ 3.0    ┆ false │
20
│ 4        ┆ 4.0    ┆ true  │
21
└──────────┴────────┴───────┘
22

23
out=df.select(pl.col("integers").cast(pl.Boolean),
24
              pl.col("floats").cast(pl.Boolean)
25
             )
26
print(out)
27
shape: (5, 2)
28
┌──────────┬────────┐
29
│ integers ┆ floats │
30
│ ---      ┆ ---    │
31
│ bool     ┆ bool   │
32
╞══════════╪════════╡
33
│ true     ┆ false  │
34
│ false    ┆ true   │
35
│ true     ┆ true   │
36
│ true     ┆ true   │
37
│ true     ┆ true   │
38
└──────────┴────────┘

时间类型 Dates

Date 或 Datetime 等时间数据类型表示为自纪元（1970年1月1日）以来的天数（Date）和微秒数（Datetime），因此数值类型与时间数据类型能直接相互转换

字符串类型与时间类型，可以通过 dt.to_string、str.to_datetime进行相互转换

1
from datetime import date, datetime
2

3
df = pl.DataFrame(
4
    {
5
        "date": pl.date_range(date(2022, 1, 1), date(2022, 1, 5), eager=True),
6
        "datetime": pl.datetime_range(
7
            datetime(2022, 1, 1), datetime(2022, 1, 5), eager=True
8
        ),
9
    }
10
)
11

12
print(df)
13
shape: (5, 2)
14
┌────────────┬─────────────────────┐
15
│ date       ┆ datetime            │
16
│ ---        ┆ ---                 │
17
│ date       ┆ datetime[μs]        │
18
╞════════════╪═════════════════════╡
19
│ 2022-01-01 ┆ 2022-01-01 00:00:00 │
20
│ 2022-01-02 ┆ 2022-01-02 00:00:00 │
21
│ 2022-01-03 ┆ 2022-01-03 00:00:00 │
22
│ 2022-01-04 ┆ 2022-01-04 00:00:00 │
23
│ 2022-01-05 ┆ 2022-01-05 00:00:00 │
24
└────────────┴─────────────────────┘
25

26
out=df.select(pl.col("date").cast(pl.Int64),
27
              pl.col("datetime").cast(pl.Int64)
28
             )
29

30
print(out)
31
shape: (5, 2)
32
┌───────┬──────────────────┐
33
│ date  ┆ datetime         │
34
│ ---   ┆ ---              │
35
│ i64   ┆ i64              │
36
╞═══════╪══════════════════╡
37
│ 18993 ┆ 1640995200000000 │
38
│ 18994 ┆ 1641081600000000 │
39
│ 18995 ┆ 1641168000000000 │
40
│ 18996 ┆ 1641254400000000 │
41
│ 18997 ┆ 1641340800000000 │
42
└───────┴──────────────────┘
43

44
df = pl.DataFrame(
45
    {
46
        "date": pl.date_range(date(2022, 1, 1), date(2022, 1, 5), eager=True),
47
        "string": [
48
            "2022-01-01",
49
            "2022-01-02",
50
            "2022-01-03",
51
            "2022-01-04",
52
            "2022-01-05",
53
        ],
54
    }
55
)
56

57
print(df)
58
shape: (5, 2)
59
┌────────────┬────────────┐
60
│ date       ┆ string     │
61
│ ---        ┆ ---        │
62
│ date       ┆ str        │
63
╞════════════╪════════════╡
64
│ 2022-01-01 ┆ 2022-01-01 │
65
│ 2022-01-02 ┆ 2022-01-02 │
66
│ 2022-01-03 ┆ 2022-01-03 │
67
│ 2022-01-04 ┆ 2022-01-04 │
68
│ 2022-01-05 ┆ 2022-01-05 │
69
└────────────┴────────────┘
70

71
out=df.select(
72
    pl.col("date").dt.to_string("%Y-%m-%d"),
73
    pl.col("string").str.to_datetime("%Y-%m-%d"),
74
    pl.col("string").str.to_date("%Y-%m-%d").alias("string_to_data")
75
)
76

77
print(out)
78
shape: (5, 3)
79
┌────────────┬─────────────────────┬────────────────┐
80
│ date       ┆ string              ┆ string_to_data │
81
│ ---        ┆ ---                 ┆ ---            │
82
│ str        ┆ datetime[μs]        ┆ date           │
83
╞════════════╪═════════════════════╪════════════════╡
84
│ 2022-01-01 ┆ 2022-01-01 00:00:00 ┆ 2022-01-01     │
85
│ 2022-01-02 ┆ 2022-01-02 00:00:00 ┆ 2022-01-02     │
86
│ 2022-01-03 ┆ 2022-01-03 00:00:00 ┆ 2022-01-03     │
87
│ 2022-01-04 ┆ 2022-01-04 00:00:00 ┆ 2022-01-04     │
88
│ 2022-01-05 ┆ 2022-01-05 00:00:00 ┆ 2022-01-05     │
89
└────────────┴─────────────────────┴────────────────┘

历史相关文章#

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货