揭秘Pandas高效数据分组与聚合技巧，轻松应对复杂数据分析挑战

引言

在数据分析领域，Pandas 是一个强大的工具，它提供了丰富的数据处理功能，其中数据分组与聚合是数据分析中非常关键的操作。通过这些技巧，我们可以轻松地处理复杂数据，提取有价值的信息。本文将详细介绍 Pandas 中的数据分组与聚合技巧，帮助您在数据分析中更加得心应手。

数据分组（GroupBy）

1.1 基本概念

数据分组是 Pandas 中的一项核心功能，它允许我们对数据进行按列分割，形成多个子集，然后对这些子集进行操作。在 Pandas 中，groupby() 函数是实现数据分组的主要方式。

1.2 使用方法

以下是一个简单的例子：

import pandas as pd # 创建示例数据 data = { 'Category': ['A', 'B', 'A', 'C', 'B', 'C'], 'Value': [10, 20, 10, 30, 20, 30] } df = pd.DataFrame(data) # 使用 groupby 进行分组 grouped = df.groupby('Category') # 对分组后的数据进行操作 result = grouped['Value'].sum() print(result)

1.3 分组后的操作

分组后，我们可以对每个分组进行各种操作，如求和、计数、平均值、中位数等。

数据聚合（Aggregate）

2.1 基本概念

数据聚合是对分组后的数据进行进一步的统计或计算。Pandas 提供了丰富的聚合函数，如 sum(), mean(), count(), median() 等。

2.2 使用方法

以下是一个使用聚合函数的例子：

import pandas as pd # 创建示例数据 data = { 'Category': ['A', 'B', 'A', 'C', 'B', 'C'], 'Value': [10, 20, 10, 30, 20, 30], 'Count': [1, 2, 1, 3, 2, 3] } df = pd.DataFrame(data) # 使用 groupby 和 aggregate 进行分组和聚合 result = df.groupby('Category').agg({ 'Value': ['sum', 'mean', 'count'], 'Count': ['sum', 'mean', 'count'] }) print(result)

2.3 聚合函数

Pandas 提供了多种聚合函数，以下是一些常用的例子：

sum(): 计算总和
mean(): 计算平均值
count(): 计算数量
median(): 计算中位数
std(): 计算标准差
min(): 计算最小值
max(): 计算最大值

高级技巧

3.1 多级分组

在 Pandas 中，我们可以进行多级分组，即按照多个列进行分组。以下是一个例子：

import pandas as pd # 创建示例数据 data = { 'Category': ['A', 'B', 'A', 'C', 'B', 'C'], 'Subcategory': ['X', 'Y', 'X', 'X', 'Y', 'Y'], 'Value': [10, 20, 10, 30, 20, 30] } df = pd.DataFrame(data) # 使用 groupby 进行多级分组 grouped = df.groupby(['Category', 'Subcategory']) # 对分组后的数据进行操作 result = grouped['Value'].sum() print(result)

3.2 传递自定义函数

在 Pandas 中，我们可以使用 apply() 函数将自定义函数应用于分组后的数据。以下是一个例子：

import pandas as pd # 创建示例数据 data = { 'Category': ['A', 'B', 'A', 'C', 'B', 'C'], 'Value': [10, 20, 10, 30, 20, 30] } df = pd.DataFrame(data) # 定义自定义函数 def custom_function(row): return row['Value'] * 2 # 使用 groupby 和 apply 进行分组和自定义函数应用 result = df.groupby('Category')['Value'].apply(custom_function) print(result)