背景#

polars学习系列文章，第10篇时间序列类型（Time series）

该系列文章会分享到github，大家可以去下载jupyter文件，进行参考学习仓库地址：https://github.com/DataShare-duo/polars_learn

小编运行环境#

1
import sys
2

3
print('python 版本：',sys.version.split('|')[0])
4
#python 版本： 3.11.9
5

6
import polars as pl
7

8
print("polars 版本：",pl.__version__)
9
#polars 版本： 1.2.1

日期时间类型#

Polars 原生支持解析时间序列数据，而且能执行一些复杂的操作

包含的日期时间类型：

Date：日期类型，例如：2014-07-08，内部表示为自1970-01-01的天数，用32位有符号整数表示
Datetime：日期时间类型，例如：2014-07-08 07:00:00
Duration：时间间隔类型
Time：时间类型

从文件加载数据时，解析时间#

从csv文件加载数据时，可以指定 try_parse_dates=True，让polars去尝试解析日期时间

1
df = pl.read_csv("./data/apple_stock.csv", try_parse_dates=True)
2
print(df)
3
#shape: (100, 2)
4
┌────────────┬────────┐
5
│ Date       ┆ Close  │
6
│ ---        ┆ ---    │
7
│ date       ┆ f64    │
8
╞════════════╪════════╡
9
│ 1981-02-23 ┆ 24.62  │
10
│ 1981-05-06 ┆ 27.38  │
11
│ 1981-05-18 ┆ 28.0   │
12
│ 1981-09-25 ┆ 14.25  │
13
│ 1982-07-08 ┆ 11.0   │
14
│ …          ┆ …      │
15
│ 2012-05-16 ┆ 546.08 │
16
│ 2012-12-04 ┆ 575.85 │
17
│ 2013-07-05 ┆ 417.42 │
18
│ 2013-11-07 ┆ 512.49 │
19
│ 2014-02-25 ┆ 522.06 │
20
└────────────┴────────┘

字符串转换为日期时间类型#

通过调用字符串的 str.to_date 方法，需要指定日期时间解析时的格式

日期时间解析格式，可参考该文档：
https://docs.rs/chrono/latest/chrono/format/strftime/index.html

1
df = pl.read_csv("./data/apple_stock.csv", try_parse_dates=False)
2

3
df = df.with_columns(pl.col("Date").str.to_date("%Y-%m-%d"))
4
print(df)
5
shape: (100, 2)
6
┌────────────┬────────┐
7
│ Date       ┆ Close  │
8
│ ---        ┆ ---    │
9
│ date       ┆ f64    │
10
╞════════════╪════════╡
11
│ 1981-02-23 ┆ 24.62  │
12
│ 1981-05-06 ┆ 27.38  │
13
│ 1981-05-18 ┆ 28.0   │
14
│ 1981-09-25 ┆ 14.25  │
15
│ 1982-07-08 ┆ 11.0   │
16
│ …          ┆ …      │
17
│ 2012-05-16 ┆ 546.08 │
18
│ 2012-12-04 ┆ 575.85 │
19
│ 2013-07-05 ┆ 417.42 │
20
│ 2013-11-07 ┆ 512.49 │
21
│ 2014-02-25 ┆ 522.06 │
22
└────────────┴────────┘

从日期时间类型中提取特定的日期类型#

比如从日期时间类型列中提取年份、日期等，通过 .dt 来提取

1
df_with_year = df.with_columns(pl.col("Date").dt.year().alias("year"))
2
print(df_with_year)
3
#shape: (100, 3)
4
┌────────────┬────────┬──────┐
5
│ Date       ┆ Close  ┆ year │
6
│ ---        ┆ ---    ┆ ---  │
7
│ date       ┆ f64    ┆ i32  │
8
╞════════════╪════════╪══════╡
9
│ 1981-02-23 ┆ 24.62  ┆ 1981 │
10
│ 1981-05-06 ┆ 27.38  ┆ 1981 │
11
│ 1981-05-18 ┆ 28.0   ┆ 1981 │
12
│ 1981-09-25 ┆ 14.25  ┆ 1981 │
13
│ 1982-07-08 ┆ 11.0   ┆ 1982 │
14
│ …          ┆ …      ┆ …    │
15
│ 2012-05-16 ┆ 546.08 ┆ 2012 │
16
│ 2012-12-04 ┆ 575.85 ┆ 2012 │
17
│ 2013-07-05 ┆ 417.42 ┆ 2013 │
18
│ 2013-11-07 ┆ 512.49 ┆ 2013 │
19
│ 2014-02-25 ┆ 522.06 ┆ 2014 │
20
└────────────┴────────┴──────┘

混合时差#

当有混合时差（例如，由于跨越夏令时），可以使用 dt.convert_time_zone 来进行转换

1
data = [
2
    "2021-03-27T00:00:00+0100",
3
    "2021-03-28T00:00:00+0100",
4
    "2021-03-29T00:00:00+0200",
5
    "2021-03-30T00:00:00+0200",
6
]
7
mixed_parsed = (
8
    pl.Series(data)
9
    .str.to_datetime("%Y-%m-%dT%H:%M:%S%z")
10
    .dt.convert_time_zone("Europe/Brussels")
11
)
12

13

14
print(mixed_parsed)
15
#shape: (4,)
16
Series: '' [datetime[μs, Europe/Brussels]]
17
[
18
  2021-03-27 00:00:00 CET
19
  2021-03-28 00:00:00 CET
20
  2021-03-29 00:00:00 CEST
21
  2021-03-30 00:00:00 CEST
22
]

日期时间数据筛选#

1
from datetime import datetime
2

3
df = pl.read_csv("./data/apple_stock.csv", try_parse_dates=True)
4

5
print(df)
6
#shape: (100, 2)
7
┌────────────┬────────┐
8
│ Date       ┆ Close  │
9
│ ---        ┆ ---    │
10
│ date       ┆ f64    │
11
╞════════════╪════════╡
12
│ 1981-02-23 ┆ 24.62  │
13
│ 1981-05-06 ┆ 27.38  │
14
│ 1981-05-18 ┆ 28.0   │
15
│ 1981-09-25 ┆ 14.25  │
16
│ 1982-07-08 ┆ 11.0   │
17
│ …          ┆ …      │
18
│ 2012-05-16 ┆ 546.08 │
19
│ 2012-12-04 ┆ 575.85 │
20
│ 2013-07-05 ┆ 417.42 │
21
│ 2013-11-07 ┆ 512.49 │
22
│ 2014-02-25 ┆ 522.06 │
23
└────────────┴────────┘

筛选单个日期时间对象#

1
filtered_df = df.filter(
2
    pl.col("Date") == datetime(1995, 10, 16),
3
)
4
print(filtered_df)
5
#shape: (1, 2)
6
┌────────────┬───────┐
7
│ Date       ┆ Close │
8
│ ---        ┆ ---   │
9
│ date       ┆ f64   │
10
╞════════════╪═══════╡
11
│ 1995-10-16 ┆ 36.13 │
12
└────────────┴───────┘

筛选一个日期范围#

通过 is_between 方法，指定一个范围

1
filtered_range_df = df.filter(
2
    pl.col("Date").is_between(datetime(1995, 7, 1), datetime(1995, 11, 1)),
3
)
4
print(filtered_range_df)
5
#shape: (2, 2)
6
┌────────────┬───────┐
7
│ Date       ┆ Close │
8
│ ---        ┆ ---   │
9
│ date       ┆ f64   │
10
╞════════════╪═══════╡
11
│ 1995-07-06 ┆ 47.0  │
12
│ 1995-10-16 ┆ 36.13 │
13
└────────────┴───────┘

筛选负数日期#

考古领域数据可能会涉及这类日期

1
ts = pl.Series(["-1300-05-23", "-1400-03-02"]).str.to_date()
2

3
negative_dates_df = pl.DataFrame({"ts": ts, "values": [3, 4]})
4

5
negative_dates_filtered_df = negative_dates_df.filter(pl.col("ts").dt.year() < -1300)
6
print(negative_dates_filtered_df)
7
#shape: (1, 2)
8
┌─────────────┬────────┐
9
│ ts          ┆ values │
10
│ ---         ┆ ---    │
11
│ date        ┆ i64    │
12
╞═════════════╪════════╡
13
│ -1400-03-02 ┆ 4      │
14
└─────────────┴────────┘

历史相关文章#

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货

背景#