背景#

懂编程语言最开始是属于程序猿的世界，现在随着国内人们受教育程度的提升、互联网科技的发展，业务人员也开始慢慢需要懂编程语言。从最近几年的招聘需求看，要求会Python则成为刚需。

业务人员之前使用的大部分都是Excel，现在随着数据量的提升，Excel已无法满足数据处理需求。如果在Excel里面数据量超过10万行，则Excel运行起来就相当卡顿。

下面展示一些在Excel里面常用的功能，看看其在Python里面具体是怎么实现的，Python处理数据用到的主要是pandas库，这也是《利用python进行数据分析》整本书介绍的对象。

如下所示为2021年2月编程语言排行榜：从排行榜来看，python越来越吃香了

案例#

这里只是展示方法，用到数据只有15行 案例数据

导入模拟数据#

1
import pandas as pd
2
import numpy as np
3

4
data = pd.read_excel('模拟数据.xlsx')
5

6
data.head()

导入模拟数

查看数据行、列#

1
len(data)    #数据行数
2

3
len(data.columns)    #数据列数
4

5
data.info()     #数据各列详细信息
6

7
data.describe()   #默认，值统计数值型列
8

9
data.describe(include='all')   #所有列
10

11
data.describe(include='object')   #只针对列为字符型

查看数据行、列

查看数据类型#

1
data.dtypes

查看数据类型

数据筛选#

1
data[data['性别']=='男']
2

3
data[data['年龄']>=30]
4

5
data[(data['年龄']>=30) & (data['性别']=='男')]   #两个条件 与
6

7
data[(data['年龄']>=30) | (data['性别']=='男')]    #两个条件 或

数据筛选

基于筛选，修改里面的数据#

1
data.loc[data['姓名']=='张三','性别']='女'   #把张三 性别 修改为：女
2

3
data

修改数据

数据缺失值替换#

1
data   #性别、年龄  里面各有个缺失值
2

3
int(data['年龄'].mean(skipna=True))
4

5
#年龄的缺失值，用平均值来代替
6
data['年龄'].fillna(int(data['年龄'].mean(skipna=True)),inplace=True)
7

8
data
9

10
data['性别'].fillna('其他',inplace=True)
11

12
data

缺失值替换

添加行#

1
#方法一
2
data.loc[15]=[16,'new',55,'女',350,4,50]
3
data
4

5
#方法二
6
data_new = pd.DataFrame([[16,'new',55,'女',350,4,50]],columns=data.columns)
7
pd.concat([data,data_new],ignore_index=True)

添加行

添加列#

添加列相对比较简单，直接赋值即可

1
data['new_column_1']=0
2
data['new_column_2']='new'

添加列

删除行#

1
data.loc[15]=[16,'new',55,'女',350,4,50,0,'new']    #先添加一个测试行
2

3
data
4

5
data.drop(index=15,inplace=True)    #删除行
6

7
data

删除行

删除列#

1
data.drop(columns='new_column_1')    #返回删除后的新数据，原始数据不变
2

3
data.drop(columns=['new_column_1','new_column_2'])   #返回删除后的新数据，原始数据不变
4

5
data.drop(columns=['new_column_1','new_column_2'],inplace=True)   #在原始数据上处理
6

7
data

删除列

数据去重#

1
data
2

3
data[['性别','消费频次']]
4

5
data[['性别','消费频次']].drop_duplicates(keep='first')  #保留第1个，一般结合排序使用
6

7
data[['性别','消费频次']].drop_duplicates(keep='last') #保留最后1个，一般结合排序使用
8

9
#根据 性别、消费频次 2列进行去重
10
data.drop_duplicates(subset=['性别','消费频次'],keep='first')

数据去重

数据排序#

相对Excel方便很多

1
data
2

3
data.sort_values(by='消费金额',ascending=True)
4

5
data.sort_values(by='消费金额',ascending=False)
6

7
data.sort_values(by=['消费频次','消费金额'],ascending=[False,True])

数据排序

数据统计#

1
data
2

3
data['性别'].value_counts()
4

5
data['性别'].value_counts(normalize=True)  #百分比
6

7
data.value_counts(subset='性别')
8

9
data.value_counts(subset=['消费频次'],sort=True,ascending=True)

数据统计

数据透视表#

1
data
2

3
pd.pivot_table(data,index=['性别'],aggfunc='count')
4

5
pd.pivot_table(data,index=['性别'],values=['姓名'],aggfunc='count')
6

7
pd.pivot_table(data,index=['性别'],
8
               columns=['消费频次'],
9
               values=['姓名'],
10
               aggfunc='count',
11
               fill_value=0)
12

13
pd.pivot_table(data,index=['性别'],
14
               columns=['消费频次'],
15
               values=['姓名'],
16
               aggfunc='sum',
17
               fill_value=0)
18

19
pd.pivot_table(data,index=['性别'],
20
               columns=['消费频次'],
21
               values=['消费金额'],
22
               aggfunc='sum',
23
               fill_value=0)
24

25
pd.pivot_table(data,index=['性别'],
26
               columns=['消费频次'],
27
               values=['最近一次消费距今间隔天数'],
28
               aggfunc='mean',
29
               fill_value=0)

数据透视表

sum函数#

1
data
2

3
data['消费金额'].sum()

sum函数

count函数#

1
data
2

3
data.count()
4

5
data['姓名'].count()

count函数

if函数#

1
data
2

3
#方法一
4
data['性别_处理']=data['性别'].map(lambda x:1 if x=='男' else 0)
5

6
#方法二
7
def gender(x):
8
    if x=='男':
9
        return 1
10
    else:
11
        return 0
12

13
data['性别_处理2']=data['性别'].map(gender)
14

15
#方法三
16
dict_gender={'男':1,'女':0 ,'其他':0}
17
data['性别_处理3']=data['性别'].map(dict_gender)

if函数

历史相关文章#

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货