背景#

在大数据处理时，基本都是基于Hadoop集群进行操作，数据相关人员在开发数仓或做临时业务需求时，基本都是利用 hive，写 sql 进行数据处理与统计分析，但是 sql 在处理一些复杂业务逻辑时会比较复杂，本文通过基于 pyhive 操作 hive，把 sql 的查询结果转为 pandas 中的 DataFrame 数据框，用于后续数据分析

pyhive 库类似于pymysql库，都是 Python 中与不同数据库系统进行交互的库。它们都提供了简洁的接口来执行 SQL 查询，处理结果集，以及管理连接

小编环境#

1
import sys
2

3
print('python 版本：',sys.version)
4
#python 版本： 3.6.8 (default, Aug  7 2019, 17:28:10)
5
#[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)]
6

7
import pyhive
8

9
print('pyhive 版本：',pyhive.__version__)
10
#pyhive 版本： 0.6.3

因是在服务器集群操作，python版本较低

示例#

1
#导入库
2
from pyhive import hive
3
import pandas as pd
4

5

6
def generate_sql(table,dt):
7
    sql = f"""
8
    select id,split(location,',')[1] as longitude,split(location,',')[0] as latitude
9
    from {table}
10
    where dt='{dt}'
11
    """
12
    return sql
13

14
# 建立连接
15
conn=hive.connect(
16
    host = '10.20.1.1',
17
    port = 10000,
18
    auth="CUSTOM",
19
    database = 'bigdata',
20
    username='datashare',
21
    password = 'datashare'
22
)
23

24
# 创建游标
25
cur =conn.cursor()
26

27
# 执行查询
28
sql=generate_sql('tb_test','20241114')
29
cur.execute(sql)
30

31
#获取列名
32
cols=[]
33
for col in cur.description:
34
    cols.append(col[0])
35

36
#把sql结果转换为DataFrame
37
data = pd.DataFrame(cur.fetchall(),columns=cols)
38
print(data.head())
39

40
#借助pandas对数据进行一些处理
41
#。。。。。。
42

43

44
#数据保存为Excel
45
data.to_excel('data.xlsx')
46

47
# 关闭连接
48
cursor.close()
49
connection.close()

这样通过python一站式对数据进行操作，可以很大程度提升工作效率，后续还可以结合sklearn、pytorch等，对数据进行机器学习等相关操作

历史相关文章#

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货