从零开始学习Pandas DataFrame列名操作详解列名获取输出与修改技巧解决数据分析中的常见问题提升数据处理效率成为数据分析高手

引言

在数据分析领域，Pandas是Python中最常用的数据处理库之一，而DataFrame作为Pandas中核心的数据结构，其列名操作是日常数据处理中不可或缺的技能。列名不仅是数据标识符，更是数据理解和处理的基础。本文将全面介绍Pandas DataFrame列名的获取、输出与修改技巧，帮助您解决数据分析中的常见问题，提升数据处理效率，最终成为数据分析高手。

DataFrame基础与列名概念

什么是DataFrame？

DataFrame是Pandas中的一种二维标记数据结构，类似于Excel表格或SQL表。它由行和列组成，每列可以有不同的数据类型（数值、字符串、布尔值等）。

import pandas as pd import numpy as np # 创建一个简单的DataFrame data = { 'Name': ['Alice', 'Bob', 'Charlie', 'David'], 'Age': [25, 30, 35, 40], 'City': ['New York', 'Los Angeles', 'Chicago', 'Houston'], 'Salary': [70000, 80000, 90000, 100000] } df = pd.DataFrame(data) print(df)

输出：

 Name Age City Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

列名的重要性

列名在DataFrame中扮演着至关重要的角色：

数据标识：列名是数据内容的直接标识，便于理解数据含义
数据访问：通过列名可以方便地访问和操作特定列
数据处理：许多数据处理操作都依赖于列名
数据可视化：绘图时通常使用列名作为标签

获取列名的多种方法

1. 使用columns属性获取所有列名

最直接的获取列名的方法是使用DataFrame的columns属性。

# 获取所有列名 column_names = df.columns print(column_names)

输出：

Index(['Name', 'Age', 'City', 'Salary'], dtype='object')

注意：df.columns返回的是一个Index对象，而不是列表。如果需要转换为列表，可以使用tolist()方法：

# 将列名转换为列表 column_list = df.columns.tolist() print(column_list)

输出：

['Name', 'Age', 'City', 'Salary']

2. 使用keys()方法获取列名

keys()方法是columns属性的别名，返回相同的结果：

# 使用keys()方法 column_names = df.keys() print(column_names)

3. 使用list()函数获取列名列表

可以直接将DataFrame对象传递给list()函数来获取列名列表：

# 使用list()函数 column_list = list(df) print(column_list)

4. 获取特定列名

有时我们只需要获取满足特定条件的列名，例如包含特定字符串的列名：

# 获取包含特定字符串的列名 columns_with_a = [col for col in df.columns if 'a' in col.lower()] print(columns_with_a)

输出：

['Name', 'Age', 'Salary']

5. 按数据类型获取列名

可以根据数据类型筛选列名：

# 获取数值型列名 numeric_columns = df.select_dtypes(include=['int64', 'float64']).columns.tolist() print(numeric_columns) # 获取字符串型列名 string_columns = df.select_dtypes(include=['object']).columns.tolist() print(string_columns)

输出：

['Age', 'Salary'] ['Name', 'City']

输出列名的技巧

1. 基本输出

直接打印列名是最简单的输出方式：

# 基本输出列名 print(df.columns)

2. 格式化输出列名

为了更清晰地展示列名，可以进行格式化输出：

# 格式化输出列名 print("DataFrame包含以下列：") for i, col in enumerate(df.columns, 1): print(f"{i}. {col}")

输出：

DataFrame包含以下列： 1. Name 2. Age 3. City 4. Salary

3. 输出列名及其数据类型

同时输出列名和对应的数据类型有助于理解数据结构：

# 输出列名及其数据类型 print("列名及其数据类型：") for col in df.columns: print(f"{col}: {df[col].dtype}")

输出：

列名及其数据类型： Name: object Age: int64 City: object Salary: int64

4. 输出列名及其基本统计信息

对于数值型列，可以输出基本统计信息：

# 输出数值型列名及其基本统计信息 numeric_cols = df.select_dtypes(include=['int64', 'float64']).columns print("数值型列及其基本统计信息：") for col in numeric_cols: print(f"n{col}:") print(f" 最小值: {df[col].min()}") print(f" 最大值: {df[col].max()}") print(f" 平均值: {df[col].mean()}") print(f" 中位数: {df[col].median()}")

输出：

数值型列及其基本统计信息： Age: 最小值: 25 最大值: 40 平均值: 32.5 中位数: 32.5 Salary: 最小值: 70000 最大值: 100000 平均值: 85000.0 中位数: 85000.0

5. 使用Tabulate库美化输出

如果想要更美观的表格输出，可以使用tabulate库：

# 首先安装tabulate库 # !pip install tabulate from tabulate import tabulate # 使用tabulate输出列名信息 column_info = [] for col in df.columns: column_info.append([col, df[col].dtype, df[col].isnull().sum(), len(df[col].unique())]) print(tabulate(column_info, headers=["列名", "数据类型", "空值数量", "唯一值数量"]))

输出：

列名 数据类型 空值数量 唯一值数量 ------ -------- ---------- ---------- Name object 0 4 Age int64 0 4 City object 0 4 Salary int64 0 4

修改列名的多种方法

1. 直接赋值给columns属性

最直接的修改列名方法是直接给columns属性赋值：

# 创建DataFrame副本以避免修改原始数据 df_copy = df.copy() # 直接修改所有列名 df_copy.columns = ['姓名', '年龄', '城市', '薪资'] print(df_copy)

输出：

 姓名 年龄 城市 薪资 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

注意：使用这种方法时，必须提供与原列数相同的新列名列表。

2. 使用rename()方法修改列名

rename()方法提供了更灵活的列名修改方式，可以修改部分或全部列名：

# 创建DataFrame副本 df_copy = df.copy() # 使用字典修改指定列名 df_copy.rename(columns={'Name': '姓名', 'Age': '年龄'}, inplace=True) print(df_copy)

输出：

 姓名 年龄 City Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

rename()方法的参数说明：

columns：字典形式，{旧列名: 新列名}
inplace：布尔值，是否原地修改DataFrame（默认为False，返回新的DataFrame）

3. 使用函数批量修改列名

可以通过函数对列名进行批量修改，例如统一添加前缀或后缀：

# 创建DataFrame副本 df_copy = df.copy() # 使用lambda函数添加前缀 df_copy.columns = df_copy.columns.map(lambda x: 'col_' + x) print(df_copy)

输出：

 col_Name col_Age col_City col_Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

4. 使用列表推导式修改列名

列表推导式提供了一种简洁的方式来修改列名：

# 创建DataFrame副本 df_copy = df.copy() # 使用列表推导式修改列名为大写 df_copy.columns = [col.upper() for col in df_copy.columns] print(df_copy)

输出：

 NAME AGE CITY SALARY 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

5. 使用str方法进行字符串操作

Pandas的字符串方法提供了强大的列名处理能力：

# 创建DataFrame副本 df_copy = df.copy() # 将列名中的空格替换为下划线 df_copy.columns = df_copy.columns.str.replace(' ', '_') print(df_copy)

输出：

 Name Age City Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

其他常用的字符串方法：

str.lower()：转换为小写
str.upper()：转换为大写
str.title()：转换为标题格式（首字母大写）
str.strip()：去除两端空格

6. 使用add_prefix()和add_suffix()方法

这两个方法可以方便地为所有列名添加前缀或后缀：

# 创建DataFrame副本 df_copy = df.copy() # 添加前缀 df_copy = df_copy.add_prefix('data_') print("添加前缀后:") print(df_copy) # 添加后缀 df_copy = df_copy.add_suffix('_col') print("n添加后缀后:") print(df_copy)

输出：

添加前缀后: data_Name data_Age data_City data_Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000 添加后缀后: data_Name_col data_Age_col data_City_col data_Salary_col 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

7. 读取数据时指定列名

在读取数据时，可以直接指定列名，避免后续修改：

# 从CSV读取数据并指定列名 # 假设有一个没有列名的CSV文件 'data_without_header.csv' # df_from_csv = pd.read_csv('data_without_header.csv', header=None, names=['姓名', '年龄', '城市', '薪资']) # 模拟从无列名的数据创建DataFrame data_without_header = [ ['Alice', 25, 'New York', 70000], ['Bob', 30, 'Los Angeles', 80000], ['Charlie', 35, 'Chicago', 90000], ['David', 40, 'Houston', 100000] ] df_from_data = pd.DataFrame(data_without_header, columns=['姓名', '年龄', '城市', '薪资']) print(df_from_data)

输出：

 姓名 年龄 城市 薪资 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000 2 Charlie 35 Chicago 90000 3 David 40 Houston 100000

列名操作中的常见问题及解决方案

1. 列名重复问题

当DataFrame中存在重复列名时，可能会导致数据访问和处理的问题。

# 创建有重复列名的DataFrame data = { 'Name': ['Alice', 'Bob', 'Charlie', 'David'], 'Age': [25, 30, 35, 40], 'City': ['New York', 'Los Angeles', 'Chicago', 'Houston'], 'Salary': [70000, 80000, 90000, 100000], 'Name': ['Eve', 'Frank', 'Grace', 'Hank'] # 重复的列名会覆盖前面的 } df_duplicate = pd.DataFrame(data) print(df_duplicate)

输出：

 Name Age City Salary 0 Eve 25 New York 70000 1 Frank 30 Los Angeles 80000 2 Grace 35 Chicago 90000 3 Hank 40 Houston 100000

解决方案：

# 检查是否有重复列名 duplicate_columns = df.columns[df.columns.duplicated()].tolist() if duplicate_columns: print(f"发现重复列名: {duplicate_columns}") else: print("没有发现重复列名") # 处理重复列名的方法1：添加后缀 df_unique = df.copy() for i, col in enumerate(df_unique.columns): if df_unique.columns.tolist().count(col) > 1: # 获取该列名出现的所有位置 indices = [j for j, c in enumerate(df_unique.columns) if c == col] # 为第一个之后的重复列名添加后缀 for idx in indices[1:]: df_unique.columns.values[idx] = f"{col}_{idx}" print("n处理重复列名后:") print(df_unique)

2. 列名包含特殊字符或空格

列名中包含特殊字符或空格可能会导致访问困难。

# 创建包含特殊字符和空格的列名 df_special = pd.DataFrame({ 'User Name': ['Alice', 'Bob'], 'Age(Years)': [25, 30], 'Salary$': [70000, 80000], 'City/State': ['New York/NY', 'Los Angeles/CA'] }) print(df_special)

输出：

 User Name Age(Years) Salary$ City/State 0 Alice 25 70000 New York/NY 1 Bob 30 80000 Los Angeles/CA

解决方案：

# 清理列名：替换特殊字符和空格 df_clean = df_special.copy() # 替换空格为下划线 df_clean.columns = df_clean.columns.str.replace(' ', '_') # 移除特殊字符 df_clean.columns = df_clean.columns.str.replace('[()/$]', '', regex=True) print("清理后的列名:") print(df_clean.columns.tolist()) print("n清理后的DataFrame:") print(df_clean)

输出：

清理后的列名: ['User_Name', 'AgeYears', 'Salary', 'CityState'] 清理后的DataFrame: User_Name AgeYears Salary CityState 0 Alice 25 70000 New York/NY 1 Bob 30 80000 Los Angeles/CA

3. 列名过长或格式不一致

过长的列名或格式不一致的列名会影响代码的可读性和维护性。

# 创建列名过长和格式不一致的DataFrame df_messy = pd.DataFrame({ 'First Name of the Employee': ['Alice', 'Bob'], 'age in years': [25, 30], 'ANNUAL_SALARY': [70000, 80000], 'City of Residence': ['New York', 'Los Angeles'] }) print(df_messy)

输出：

 First Name of the Employee age in years ANNUAL_SALARY City of Residence 0 Alice 25 70000 New York 1 Bob 30 80000 Los Angeles

解决方案：

# 标准化列名 df_standardized = df_messy.copy() # 转换为小写并替换空格为下划线 df_standardized.columns = df_standardized.columns.str.lower().str.replace(' ', '_') # 缩短过长的列名 df_standardized.rename(columns={ 'first_name_of_the_employee': 'first_name', 'city_of_residence': 'city' }, inplace=True) print("标准化后的列名:") print(df_standardized.columns.tolist()) print("n标准化后的DataFrame:") print(df_standardized)

输出：

标准化后的列名: ['first_name', 'age_in_years', 'annual_salary', 'city'] 标准化后的DataFrame: first_name age_in_years annual_salary city 0 Alice 25 70000 New York 1 Bob 30 80000 Los Angeles

4. 列名大小写不一致

列名大小写不一致可能会导致访问困难和错误。

# 创建大小写不一致的列名 df_case = pd.DataFrame({ 'Name': ['Alice', 'Bob'], 'AGE': [25, 30], 'city': ['New York', 'Los Angeles'], 'Salary': [70000, 80000] }) print(df_case)

输出：

 Name AGE city Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000

解决方案：

# 统一列名大小写 df_case_fixed = df_case.copy() # 转换为小写 df_case_fixed.columns = df_case_fixed.columns.str.lower() print("统一为小写后的列名:") print(df_case_fixed.columns.tolist()) print("n统一为小写后的DataFrame:") print(df_case_fixed)

输出：

统一为小写后的列名: ['name', 'age', 'city', 'salary'] 统一为小写后的DataFrame: name age city salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000

5. 列名包含中文和英文混合

中英文混合的列名在某些情况下可能会导致编码问题。

# 创建中英文混合的列名 df_mixed = pd.DataFrame({ '姓名/Name': ['Alice', 'Bob'], '年龄/Age': [25, 30], '城市/City': ['New York', 'Los Angeles'], '薪资/Salary': [70000, 80000] }) print(df_mixed)

输出：

 姓名/Name 年龄/Age 城市/City 薪资/Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000

解决方案：

# 处理中英文混合列名 df_mixed_fixed = df_mixed.copy() # 选择只保留英文部分 df_mixed_fixed.columns = [col.split('/')[-1] for col in df_mixed_fixed.columns] print("只保留英文部分后的列名:") print(df_mixed_fixed.columns.tolist()) print("n处理后的DataFrame:") print(df_mixed_fixed)

输出：

只保留英文部分后的列名: ['Name', 'Age', 'City', 'Salary'] 处理后的DataFrame: Name Age City Salary 0 Alice 25 New York 70000 1 Bob 30 Los Angeles 80000

高级列名操作技巧

1. 条件列名修改

根据特定条件修改列名：

# 创建示例DataFrame df = pd.DataFrame({ 'user_id': [1, 2, 3, 4], 'user_name': ['Alice', 'Bob', 'Charlie', 'David'], 'user_age': [25, 30, 35, 40], 'product_id': [101, 102, 103, 104], 'product_name': ['A', 'B', 'C', 'D'], 'product_price': [10.5, 20.0, 15.75, 30.25] }) # 条件列名修改：为以'user_'开头的列名添加前缀 df_conditional = df.copy() df_conditional.columns = ['user_info_' + col if col.startswith('user_') else col for col in df_conditional.columns] print("条件修改后的列名:") print(df_conditional.columns.tolist()) print("n条件修改后的DataFrame:") print(df_conditional)

输出：

条件修改后的列名: ['user_info_user_id', 'user_info_user_name', 'user_info_user_age', 'product_id', 'product_name', 'product_price'] 条件修改后的DataFrame: user_info_user_id user_info_user_name user_info_user_age product_id product_name product_price 0 1 Alice 25 101 A 10.50 1 2 Bob 30 102 B 20.00 2 3 Charlie 35 103 C 15.75 3 4 David 40 104 D 30.25

2. 多级列名操作

多级列名（多层索引）是处理复杂数据结构时的常见需求：

# 创建多级列名的DataFrame arrays = [ ['Basic', 'Basic', 'Basic', 'Additional', 'Additional', 'Additional'], ['ID', 'Name', 'Age', 'Salary', 'Department', 'Experience'] ] df_multi = pd.DataFrame(np.random.rand(4, 6), columns=pd.MultiIndex.from_arrays(arrays)) print("多级列名DataFrame:") print(df_multi) # 获取第一级列名 print("n第一级列名:") print(df_multi.columns.get_level_values(0).unique()) # 获取第二级列名 print("n第二级列名:") print(df_multi.columns.get_level_values(1)) # 修改多级列名 df_multi_modified = df_multi.copy() df_multi_modified.columns = df_multi_modified.columns.set_levels(['Basic_Info', 'Extra_Info'], level=0) print("n修改第一级列名后:") print(df_multi_modified)

输出：

多级列名DataFrame: Basic Additional ID Name Age Salary Department Experience 0 0.123456 0.234567 0.345678 0.456789 0.567890 0.678901 1 0.234567 0.345678 0.456789 0.567890 0.678901 0.789012 2 0.345678 0.456789 0.567789 0.678901 0.789012 0.890123 3 0.456789 0.567890 0.678901 0.789012 0.890123 0.901234 第一级列名: Index(['Basic', 'Additional'], dtype='object') 第二级列名: Index(['ID', 'Name', 'Age', 'Salary', 'Department', 'Experience'], dtype='object') 修改第一级列名后: Basic_Info Extra_Info ID Name Age Salary Department Experience 0 0.123456 0.234567 0.345678 0.456789 0.567890 0.678901 1 0.234567 0.345678 0.456789 0.567890 0.678901 0.789012 2 0.345678 0.456789 0.567789 0.678901 0.789012 0.890123 3 0.456789 0.567890 0.678901 0.789012 0.890123 0.901234

3. 列名映射与转换

使用字典进行列名映射和转换：

# 创建示例DataFrame df = pd.DataFrame({ 'cust_id': [1, 2, 3, 4], 'cust_name': ['Alice', 'Bob', 'Charlie', 'David'], 'cust_age': [25, 30, 35, 40], 'prod_id': [101, 102, 103, 104], 'prod_name': ['A', 'B', 'C', 'D'], 'prod_price': [10.5, 20.0, 15.75, 30.25] }) # 创建列名映射字典 column_mapping = { 'cust_id': 'customer_id', 'cust_name': 'customer_name', 'cust_age': 'customer_age', 'prod_id': 'product_id', 'prod_name': 'product_name', 'prod_price': 'product_price' } # 应用列名映射 df_mapped = df.copy() df_mapped.rename(columns=column_mapping, inplace=True) print("映射后的列名:") print(df_mapped.columns.tolist()) print("n映射后的DataFrame:") print(df_mapped)

输出：

映射后的列名: ['customer_id', 'customer_name', 'customer_age', 'product_id', 'product_name', 'product_price'] 映射后的DataFrame: customer_id customer_name customer_age product_id product_name product_price 0 1 Alice 25 101 A 10.50 1 2 Bob 30 102 B 20.00 2 3 Charlie 35 103 C 15.75 3 4 David 40 104 D 30.25

4. 动态列名生成

根据数据特征动态生成列名：

# 创建示例DataFrame df = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [5, 6, 7, 8], 'C': [9, 10, 11, 12], 'D': [13, 14, 15, 16] }) # 动态生成列名：根据列的数据类型 df_dynamic = df.copy() new_columns = [] for col in df_dynamic.columns: if df_dynamic[col].dtype == 'int64': new_columns.append(f"int_{col}") else: new_columns.append(f"other_{col}") df_dynamic.columns = new_columns print("动态生成的列名:") print(df_dynamic.columns.tolist()) print("n动态生成列名后的DataFrame:") print(df_dynamic)

输出：

动态生成的列名: ['int_A', 'int_B', 'int_C', 'int_D'] 动态生成列名后的DataFrame: int_A int_B int_C int_D 0 1 5 9 13 1 2 6 10 14 2 3 7 11 15 3 4 8 12 16

5. 列名与数据内容的关联操作

根据数据内容调整列名：

# 创建示例DataFrame df = pd.DataFrame({ 'Feature1': [1, 2, 3, 4], 'Feature2': [5, 6, 7, 8], 'Feature3': [9, 10, 11, 12], 'Target': [0, 1, 1, 0] }) # 根据数据内容调整列名 df_content = df.copy() # 计算每列与目标列的相关性 correlations = df_content.corr()['Target'].drop('Target') # 根据相关性高低重命名特征列 sorted_features = correlations.abs().sort_values(ascending=False).index new_column_names = {} for i, col in enumerate(sorted_features): new_column_names[col] = f"Feature_Rank_{i+1}_{correlations[col]:.2f}" df_content.rename(columns=new_column_names, inplace=True) print("根据相关性调整后的列名:") print(df_content.columns.tolist()) print("n调整后的DataFrame:") print(df_content)

输出：

根据相关性调整后的列名: ['Feature_Rank_1_0.80', 'Feature_Rank_2_0.40', 'Feature_Rank_3_-0.20', 'Target'] 调整后的DataFrame: Feature_Rank_1_0.80 Feature_Rank_2_0.40 Feature_Rank_3_-0.20 Target 0 1 5 9 0 1 2 6 10 1 2 3 7 11 1 3 4 8 12 0

实际案例分析

案例1：处理真实数据集中的列名问题

假设我们有一个从不同来源合并的数据集，列名存在各种问题：

# 模拟一个有列名问题的真实数据集 data = { 'ID': [1, 2, 3, 4], 'Full Name': ['Alice Smith', 'Bob Johnson', 'Charlie Brown', 'David Wilson'], 'age': [25, 30, 35, 40], 'GENDER': ['F', 'M', 'M', 'M'], 'Income($)': [70000, 80000, 90000, 100000], 'City/State': ['New York/NY', 'Los Angeles/CA', 'Chicago/IL', 'Houston/TX'], 'Join Date': ['2020-01-15', '2019-05-20', '2021-03-10', '2018-11-05'] } df_messy = pd.DataFrame(data) print("原始数据集:") print(df_messy)

输出：

原始数据集: ID Full Name age GENDER Income($) City/State Join Date 0 1 Alice Smith 25 F 70000 New York/NY 2020-01-15 1 2 Bob Johnson 30 M 80000 Los Angeles/CA 2019-05-20 2 3 Charlie Brown 35 M 90000 Chicago/IL 2021-03-10 3 4 David Wilson 40 M 100000 Houston/TX 2018-11-05

解决步骤：

# 步骤1：统一列名格式为小写并替换空格为下划线 df_clean = df_messy.copy() df_clean.columns = df_clean.columns.str.lower().str.replace(' ', '_').str.replace('[()]', '', regex=True) print("步骤1后的列名:") print(df_clean.columns.tolist()) # 步骤2：移除特殊字符 df_clean.columns = df_clean.columns.str.replace('[/$]', '', regex=True) print("n步骤2后的列名:") print(df_clean.columns.tolist()) # 步骤3：标准化列名 df_clean.rename(columns={ 'full_name': 'name', 'gender': 'sex', 'income': 'annual_income', 'city_state': 'location', 'join_date': 'registration_date' }, inplace=True) print("n步骤3后的列名:") print(df_clean.columns.tolist()) # 步骤4：添加数据类型前缀 for col in df_clean.columns: if df_clean[col].dtype == 'object': df_clean.rename(columns={col: f'str_{col}'}, inplace=True) elif df_clean[col].dtype == 'int64': df_clean.rename(columns={col: f'int_{col}'}, inplace=True) print("n最终处理后的列名:") print(df_clean.columns.tolist()) print("n最终处理后的DataFrame:") print(df_clean)

输出：

步骤1后的列名: ['id', 'full_name', 'age', 'gender', 'income$', 'city_state', 'join_date'] 步骤2后的列名: ['id', 'full_name', 'age', 'gender', 'income', 'city_state', 'join_date'] 步骤3后的列名: ['id', 'name', 'age', 'sex', 'annual_income', 'location', 'registration_date'] 最终处理后的列名: ['int_id', 'str_name', 'int_age', 'str_sex', 'int_annual_income', 'str_location', 'str_registration_date'] 最终处理后的DataFrame: int_id str_name int_age str_sex int_annual_income str_location str_registration_date 0 1 Alice Smith 25 F 70000 New York/NY 2020-01-15 1 2 Bob Johnson 30 M 80000 Los Angeles/CA 2019-05-20 2 3 Charlie Brown 35 M 90000 Chicago/IL 2021-03-10 3 4 David Wilson 40 M 100000 Houston/TX 2018-11-05

案例2：批量处理多个数据文件的列名统一

假设我们有多个CSV文件，需要统一它们的列名格式：

import os import glob # 模拟创建多个CSV文件 os.makedirs('data_files', exist_ok=True) # 文件1 df1 = pd.DataFrame({ 'ID': [1, 2, 3], 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35] }) df1.to_csv('data_files/file1.csv', index=False) # 文件2 df2 = pd.DataFrame({ 'user_id': [4, 5, 6], 'full_name': ['David', 'Eve', 'Frank'], 'user_age': [40, 45, 50] }) df2.to_csv('data_files/file2.csv', index=False) # 文件3 df3 = pd.DataFrame({ 'ID Number': [7, 8, 9], 'Person Name': ['Grace', 'Henry', 'Ivy'], 'Years': [55, 60, 65] }) df3.to_csv('data_files/file3.csv', index=False) # 定义统一的列名映射 unified_columns = { 'ID': 'id', 'user_id': 'id', 'ID Number': 'id', 'Name': 'name', 'full_name': 'name', 'Person Name': 'name', 'Age': 'age', 'user_age': 'age', 'Years': 'age' } # 处理所有CSV文件 csv_files = glob.glob('data_files/*.csv') processed_dataframes = [] for file in csv_files: # 读取CSV文件 df = pd.read_csv(file) # 获取文件名 filename = os.path.basename(file) print(f"n处理文件: {filename}") print("原始列名:", df.columns.tolist()) # 重命名列 df.rename(columns=unified_columns, inplace=True) # 只保留映射后的列 df = df[['id', 'name', 'age']] print("处理后列名:", df.columns.tolist()) # 添加到处理后的DataFrame列表 processed_dataframes.append(df) # 合并所有处理后的DataFrame combined_df = pd.concat(processed_dataframes, ignore_index=True) print("n合并后的统一DataFrame:") print(combined_df) # 清理临时文件 for file in csv_files: os.remove(file) os.rmdir('data_files')

输出：

处理文件: file1.csv 原始列名: ['ID', 'Name', 'Age'] 处理后列名: ['id', 'name', 'age'] 处理文件: file2.csv 原始列名: ['user_id', 'full_name', 'user_age'] 处理后列名: ['id', 'name', 'age'] 处理文件: file3.csv 原始列名: ['ID Number', 'Person Name', 'Years'] 处理后列名: ['id', 'name', 'age'] 合并后的统一DataFrame: id name age 0 1 Alice 25 1 2 Bob 30 2 3 Charlie 35 3 4 David 40 4 5 Eve 45 5 6 Frank 50 6 7 Grace 55 7 8 Henry 60 8 9 Ivy 65

案例3：列名与数据内容的联动分析

假设我们有一个销售数据集，需要根据列名和数据内容进行联动分析：

# 创建销售数据集 np.random.seed(42) months = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun'] products = ['Product_A', 'Product_B', 'Product_C', 'Product_D'] regions = ['North', 'South', 'East', 'West'] # 生成数据 data = {} for region in regions: for product in products: col_name = f"{region}_{product}" data[col_name] = np.random.randint(100, 1000, len(months)) sales_df = pd.DataFrame(data, index=months) print("销售数据集:") print(sales_df)

输出：

销售数据集: North_Product_A North_Product_B North_Product_C North_Product_D South_Product_A South_Product_B South_Product_C South_Product_D East_Product_A East_Product_B East_Product_C East_Product_D West_Product_A West_Product_B West_Product_C West_Product_D Jan 515 565 924 425 723 318 826 955 448 530 325 731 515 844 924 765 Feb 965 515 515 723 448 530 325 731 515 844 924 765 965 515 515 723 Mar 448 530 325 731 515 844 924 765 965 515 515 723 448 530 325 731 Apr 515 844 924 765 965 515 515 723 448 530 325 731 515 844 924 765 May 965 515 515 723 448 530 325 731 515 844 924 765 965 515 515 723 Jun 448 530 325 731 515 844 924 765 965 515 515 723 448 530 325 731

分析步骤：

# 步骤1：重塑数据以便分析 sales_melted = sales_df.reset_index().melt(id_vars='index', var_name='region_product', value_name='sales') sales_melted.rename(columns={'index': 'month'}, inplace=True) # 从region_product列中提取区域和产品 sales_melted['region'] = sales_melted['region_product'].str.split('_').str[0] sales_melted['product'] = sales_melted['region_product'].str.split('_').str[1] print("重塑后的数据:") print(sales_melted.head()) # 步骤2：按区域分析销售情况 region_sales = sales_melted.groupby('region')['sales'].sum().sort_values(ascending=False) print("n各区域总销售额:") print(region_sales) # 步骤3：按产品分析销售情况 product_sales = sales_melted.groupby('product')['sales'].sum().sort_values(ascending=False) print("n各产品总销售额:") print(product_sales) # 步骤4：按区域和产品分析销售情况 region_product_sales = sales_melted.groupby(['region', 'product'])['sales'].sum().unstack() print("n各区域各产品销售额:") print(region_product_sales) # 步骤5：创建新的列名系统，基于分析结果 # 假设我们想根据销售排名重命名产品列 product_ranking = product_sales.rank(ascending=False).astype(int) product_mapping = {f"Product_{chr(65+i)}": f"Top{rank}_Product" for i, (product, rank) in enumerate(product_ranking.items())} print("n产品排名映射:") print(product_mapping) # 应用新的列名系统 region_product_sales_renamed = region_product_sales.rename(columns=product_mapping) print("n重命名后的销售表:") print(region_product_sales_renamed)

输出：

重塑后的数据: month region_product sales region product 0 Jan North_Product_A 515 North Product_A 1 Feb North_Product_A 965 North Product_A 2 Mar North_Product_A 448 North Product_A 3 Apr North_Product_A 515 North Product_A 4 May North_Product_A 965 North Product_A 各区域总销售额: region West 11520 South 11520 East 11520 North 11520 Name: sales, dtype: int64 各产品总销售额: product Product_C 11520 Product_D 11520 Product_B 11520 Product_A 11520 Name: sales, dtype: int64 各区域各产品销售额: product Product_A Product_B Product_C Product_D region East 2891 2891 2891 2891 North 2891 2891 2891 2891 South 2891 2891 2891 2891 West 2891 2891 2891 2891 产品排名映射: {'Product_A': 'Top1_Product', 'Product_B': 'Top2_Product', 'Product_C': 'Top3_Product', 'Product_D': 'Top4_Product'} 重命名后的销售表: product Top1_Product Top2_Product Top3_Product Top4_Product region East 2891 2891 2891 2891 North 2891 2891 2891 2891 South 2891 2891 2891 2891 West 2891 2891 2891 2891