scikit-learn自然语言处理实战案例从文本分类到情感分析的完整指南

引言

自然语言处理（NLP）是人工智能领域的重要分支，它使计算机能够理解、解释和生成人类语言。scikit-learn作为Python中最受欢迎的机器学习库之一，提供了丰富的工具和算法，非常适合用于NLP任务。本文将通过一个完整的实战案例，从文本分类到情感分析，详细讲解如何使用scikit-learn进行自然语言处理。

1. 环境准备与数据集介绍

1.1 安装必要的库

首先，确保你已经安装了必要的Python库。你可以使用pip来安装：

pip install scikit-learn pandas numpy matplotlib seaborn nltk

1.2 数据集介绍

我们将使用一个经典的文本分类数据集——20 Newsgroups数据集。这个数据集包含大约20,000个新闻组文档，分为20个不同的类别。我们将使用这个数据集进行文本分类任务。

from sklearn.datasets import fetch_20newsgroups # 加载数据集 categories = ['alt.atheism', 'soc.religion.christian', 'comp.graphics', 'sci.med'] newsgroups_train = fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42) newsgroups_test = fetch_20newsgroups(subset='test', categories=categories, shuffle=True, random_state=42) print(f"训练集大小: {len(newsgroups_train.data)}") print(f"测试集大小: {len(newsgroups_test.data)}") print(f"类别: {newsgroups_train.target_names}")

2. 文本预处理

文本预处理是NLP中的关键步骤，它直接影响模型的性能。常见的预处理步骤包括：

分词：将文本分割成单词或标记
去除停用词：移除常见的无意义词汇（如”the”, “is”, “and”）
词干提取或词形还原：将单词还原到其基本形式
向量化：将文本转换为数值向量

2.1 使用NLTK进行文本预处理

import nltk from nltk.corpus import stopwords from nltk.stem import PorterStemmer import re # 下载NLTK资源（首次使用需要） nltk.download('stopwords') nltk.download('punkt') def preprocess_text(text): """ 文本预处理函数 """ # 1. 转换为小写 text = text.lower() # 2. 移除特殊字符和数字 text = re.sub(r'[^a-zA-Zs]', '', text) # 3. 分词 words = nltk.word_tokenize(text) # 4. 去除停用词 stop_words = set(stopwords.words('english')) words = [word for word in words if word not in stop_words] # 5. 词干提取 stemmer = PorterStemmer() words = [stemmer.stem(word) for word in words] return ' '.join(words) # 示例：预处理一条新闻文本 sample_text = newsgroups_train.data[0] print("原始文本:") print(sample_text[:500]) print("n预处理后文本:") print(preprocess_text(sample_text)[:500])

2.2 批量预处理数据

# 预处理训练集和测试集 train_processed = [preprocess_text(text) for text in newsgroups_train.data] test_processed = [preprocess_text(text) for text in newsgroups_test.data] print(f"预处理完成！训练集样本数: {len(train_processed)}") print(f"测试集样本数: {len(test_processed)}")

3. 文本向量化

将文本转换为数值向量是机器学习模型处理文本数据的前提。scikit-learn提供了多种文本向量化方法：

3.1 词袋模型（Bag of Words）

词袋模型是最简单的文本表示方法，它只考虑单词的出现频率，不考虑顺序。

from sklearn.feature_extraction.text import CountVectorizer # 创建词袋模型向量化器 vectorizer = CountVectorizer() # 拟合并转换训练数据 X_train_bow = vectorizer.fit_transform(train_processed) X_test_bow = vectorizer.transform(test_processed) print(f"词袋模型特征维度: {X_train_bow.shape[1]}") print(f"训练集样本数: {X_train_bow.shape[0]}") print(f"测试集样本数: {X_test_bow.shape[0]}")

3.2 TF-IDF（词频-逆文档频率）

TF-IDF是词袋模型的改进，它不仅考虑单词在文档中的频率，还考虑单词在整个语料库中的重要性。

from sklearn.feature_extraction.text import TfidfVectorizer # 创建TF-IDF向量化器 tfidf_vectorizer = TfidfVectorizer() # 拟合并转换训练数据 X_train_tfidf = tfidf_vectorizer.fit_transform(train_processed) X_test_tfidf = tfidf_vectorizer.transform(test_processed) print(f"TF-IDF特征维度: {X_train_tfidf.shape[1]}") print(f"训练集样本数: {X_train_tfidf.shape[0]}") print(f"测试集样本数: {X_test_tfidf.shape[0]}")

3.3 N-gram模型

N-gram模型考虑连续的n个单词，可以捕捉更多的上下文信息。

# 创建N-gram向量化器（考虑1-gram和2-gram） ngram_vectorizer = CountVectorizer(ngram_range=(1, 2), max_features=5000) # 拟合并转换训练数据 X_train_ngram = ngram_vectorizer.fit_transform(train_processed) X_test_ngram = ngram_vectorizer.transform(test_processed) print(f"N-gram特征维度: {X_train_ngram.shape[1]}")

4. 文本分类模型

4.1 朴素贝叶斯分类器

朴素贝叶斯是文本分类中最常用的算法之一，特别适合处理高维稀疏数据。

from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, accuracy_score # 使用TF-IDF特征训练朴素贝叶斯分类器 nb_classifier = MultinomialNB() nb_classifier.fit(X_train_tfidf, newsgroups_train.target) # 预测测试集 y_pred = nb_classifier.predict(X_test_tfidf) # 评估模型 accuracy = accuracy_score(newsgroups_test.target, y_pred) print(f"朴素贝叶斯分类器准确率: {accuracy:.4f}") print("n分类报告:") print(classification_report(newsgroups_test.target, y_pred, target_names=newsgroups_test.target_names))

4.2 支持向量机（SVM）

SVM在文本分类中也表现出色，特别是线性SVM。

from sklearn.svm import LinearSVC # 使用TF-IDF特征训练线性SVM分类器 svm_classifier = LinearSVC(random_state=42, max_iter=10000) svm_classifier.fit(X_train_tfidf, newsgroups_train.target) # 预测测试集 y_pred_svm = svm_classifier.predict(X_test_tfidf) # 评估模型 accuracy_svm = accuracy_score(newsgroups_test.target, y_pred_svm) print(f"SVM分类器准确率: {accuracy_svm:.4f}") print("n分类报告:") print(classification_report(newsgroups_test.target, y_pred_svm, target_names=newsgroups_test.target_names))

4.3 逻辑回归

逻辑回归是另一个简单而有效的文本分类算法。

from sklearn.linear_model import LogisticRegression # 使用TF-IDF特征训练逻辑回归分类器 lr_classifier = LogisticRegression(random_state=42, max_iter=10000) lr_classifier.fit(X_train_tfidf, newsgroups_train.target) # 预测测试集 y_pred_lr = lr_classifier.predict(X_test_tfidf) # 评估模型 accuracy_lr = accuracy_score(newsgroups_test.target, y_pred_lr) print(f"逻辑回归分类器准确率: {accuracy_lr:.4f}") print("n分类报告:") print(classification_report(newsgroups_test.target, y_pred_lr, target_names=newsgroups_test.target_names))

4.4 模型比较与选择

import matplotlib.pyplot as plt import seaborn as sns # 比较不同分类器的准确率 models = ['Naive Bayes', 'SVM', 'Logistic Regression'] accuracies = [accuracy, accuracy_svm, accuracy_lr] # 创建比较图表 plt.figure(figsize=(10, 6)) sns.barplot(x=models, y=accuracies, palette='viridis') plt.title('不同分类器在20 Newsgroups数据集上的准确率比较') plt.ylabel('准确率') plt.ylim(0.8, 1.0) plt.grid(axis='y', linestyle='--', alpha=0.7) # 在柱状图上显示数值 for i, v in enumerate(accuracies): plt.text(i, v + 0.005, f'{v:.4f}', ha='center', va='bottom') plt.show()

5. 情感分析实战

情感分析是NLP中的一个重要应用，用于判断文本的情感倾向（正面、负面或中性）。我们将使用IMDB电影评论数据集进行情感分析。

5.1 加载IMDB数据集

from sklearn.datasets import load_files import os # 创建IMDB数据集目录结构 # 注意：你需要先下载IMDB数据集并放置在指定目录 # 这里假设数据集已经下载并解压到'./aclImdb'目录 def load_imdb_data(data_path): """ 加载IMDB数据集 """ # 加载训练集 train_data = load_files(os.path.join(data_path, 'train'), encoding='utf-8') # 加载测试集 test_data = load_files(os.path.join(data_path, 'test'), encoding='utf-8') return train_data, test_data # 示例：加载数据（需要实际数据集） # train_data, test_data = load_imdb_data('./aclImdb')

5.2 文本预处理与向量化

# 假设我们已经加载了IMDB数据集 # 这里使用模拟数据进行演示 import numpy as np from sklearn.model_selection import train_test_split # 模拟IMDB数据集（实际使用时需要真实数据） np.random.seed(42) n_samples = 1000 texts = [f"电影评论{i}" for i in range(n_samples)] labels = np.random.randint(0, 2, n_samples) # 0:负面, 1:正面 # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.2, random_state=42) # 预处理文本 X_train_processed = [preprocess_text(text) for text in X_train] X_test_processed = [preprocess_text(text) for text in X_test] # TF-IDF向量化 tfidf_vectorizer = TfidfVectorizer(max_features=5000) X_train_tfidf = tfidf_vectorizer.fit_transform(X_train_processed) X_test_tfidf = tfidf_vectorizer.transform(X_test_processed)

5.3 训练情感分析模型

# 使用逻辑回归进行情感分析 sentiment_classifier = LogisticRegression(random_state=42, max_iter=10000) sentiment_classifier.fit(X_train_tfidf, y_train) # 预测 y_pred_sentiment = sentiment_classifier.predict(X_test_tfidf) # 评估 accuracy_sentiment = accuracy_score(y_test, y_pred_sentiment) print(f"情感分析模型准确率: {accuracy_sentiment:.4f}") print("n分类报告:") print(classification_report(y_test, y_pred_sentiment, target_names=['负面', '正面']))

5.4 情感分析模型解释

# 查看模型权重，了解哪些词对情感判断最重要 feature_names = tfidf_vectorizer.get_feature_names_out() coefficients = sentiment_classifier.coef_[0] # 获取最重要的正面和负面词汇 top_positive = sorted(zip(feature_names, coefficients), key=lambda x: x[1], reverse=True)[:10] top_negative = sorted(zip(feature_names, coefficients), key=lambda x: x[1])[:10] print("最重要的正面词汇:") for word, coef in top_positive: print(f"{word}: {coef:.4f}") print("n最重要的负面词汇:") for word, coef in top_negative: print(f"{word}: {coef:.4f}")

6. 高级技巧与优化

6.1 特征选择

from sklearn.feature_selection import SelectKBest, chi2 # 选择最重要的500个特征 selector = SelectKBest(chi2, k=500) X_train_selected = selector.fit_transform(X_train_tfidf, y_train) X_test_selected = selector.transform(X_test_tfidf) # 使用选择后的特征重新训练模型 sentiment_classifier_selected = LogisticRegression(random_state=42, max_iter=10000) sentiment_classifier_selected.fit(X_train_selected, y_train) # 评估 y_pred_selected = sentiment_classifier_selected.predict(X_test_selected) accuracy_selected = accuracy_score(y_test, y_pred_selected) print(f"特征选择后模型准确率: {accuracy_selected:.4f}")

6.2 超参数调优

from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'C': [0.1, 1, 10, 100], 'penalty': ['l1', 'l2'], 'solver': ['liblinear'] } # 创建网格搜索 grid_search = GridSearchCV( LogisticRegression(random_state=42, max_iter=10000), param_grid, cv=5, scoring='accuracy', n_jobs=-1 ) # 执行网格搜索 grid_search.fit(X_train_tfidf, y_train) # 输出最佳参数 print(f"最佳参数: {grid_search.best_params_}") print(f"最佳交叉验证准确率: {grid_search.best_score_:.4f}") # 使用最佳模型预测 best_model = grid_search.best_estimator_ y_pred_best = best_model.predict(X_test_tfidf) accuracy_best = accuracy_score(y_test, y_pred_best) print(f"最佳模型测试准确率: {accuracy_best:.4f}")

6.3 使用Pipeline简化流程

from sklearn.pipeline import Pipeline # 创建完整的处理流程 pipeline = Pipeline([ ('tfidf', TfidfVectorizer(max_features=5000)), ('clf', LogisticRegression(random_state=42, max_iter=10000)) ]) # 直接使用原始文本训练 pipeline.fit(X_train, y_train) # 预测 y_pred_pipeline = pipeline.predict(X_test) # 评估 accuracy_pipeline = accuracy_score(y_test, y_pred_pipeline) print(f"Pipeline模型准确率: {accuracy_pipeline:.4f}")

7. 实际应用案例：新闻分类系统

7.1 构建完整的新闻分类系统

class NewsClassifier: """ 新闻分类系统 """ def __init__(self): self.vectorizer = None self.classifier = None self.categories = None def train(self, texts, labels, categories): """ 训练分类器 """ # 预处理文本 processed_texts = [preprocess_text(text) for text in texts] # 创建TF-IDF向量化器 self.vectorizer = TfidfVectorizer(max_features=5000) X = self.vectorizer.fit_transform(processed_texts) # 训练分类器 self.classifier = LogisticRegression(random_state=42, max_iter=10000) self.classifier.fit(X, labels) self.categories = categories print(f"训练完成！特征维度: {X.shape[1]}") def predict(self, texts): """ 预测新文本的类别 """ if self.vectorizer is None or self.classifier is None: raise ValueError("模型尚未训练！") # 预处理文本 processed_texts = [preprocess_text(text) for text in texts] # 向量化 X = self.vectorizer.transform(processed_texts) # 预测 predictions = self.classifier.predict(X) probabilities = self.classifier.predict_proba(X) # 返回结果 results = [] for i, (pred, prob) in enumerate(zip(predictions, probabilities)): results.append({ 'text': texts[i], 'predicted_category': self.categories[pred], 'confidence': max(prob), 'all_probabilities': {self.categories[j]: p for j, p in enumerate(prob)} }) return results def evaluate(self, test_texts, test_labels): """ 评估模型性能 """ predictions = self.predict(test_texts) pred_labels = [self.categories.index(p['predicted_category']) for p in predictions] accuracy = accuracy_score(test_labels, pred_labels) print(f"模型准确率: {accuracy:.4f}") print("n分类报告:") print(classification_report(test_labels, pred_labels, target_names=self.categories)) return accuracy # 使用示例 classifier = NewsClassifier() # 训练模型（使用20 Newsgroups数据） classifier.train(newsgroups_train.data, newsgroups_train.target, newsgroups_train.target_names) # 预测新新闻 new_news = [ "The latest graphics card from NVIDIA offers incredible performance for gaming", "A new study shows that meditation can improve mental health", "The church is organizing a charity event for the local community" ] predictions = classifier.predict(new_news) for result in predictions: print(f"n文本: {result['text'][:100]}...") print(f"预测类别: {result['predicted_category']}") print(f"置信度: {result['confidence']:.4f}") print("所有类别的概率:") for category, prob in result['all_probabilities'].items(): print(f" {category}: {prob:.4f}")

7.2 模型保存与加载

import joblib # 保存模型 def save_model(classifier, vectorizer, categories, filepath): """ 保存分类器模型 """ model_data = { 'classifier': classifier, 'vectorizer': vectorizer, 'categories': categories } joblib.dump(model_data, filepath) print(f"模型已保存到: {filepath}") # 加载模型 def load_model(filepath): """ 加载分类器模型 """ model_data = joblib.load(filepath) return model_data['classifier'], model_data['vectorizer'], model_data['categories'] # 保存训练好的模型 save_model(classifier.classifier, classifier.vectorizer, classifier.categories, 'news_classifier.pkl') # 加载模型 loaded_classifier, loaded_vectorizer, loaded_categories = load_model('news_classifier.pkl') # 使用加载的模型预测 loaded_predictions = loaded_classifier.predict(loaded_vectorizer.transform([preprocess_text(new_news[0])])) print(f"加载模型预测结果: {loaded_categories[loaded_predictions[0]]}")

8. 常见问题与解决方案

8.1 内存不足问题

当处理大规模文本数据时，可能会遇到内存不足的问题。解决方案：

from sklearn.feature_extraction.text import HashingVectorizer # 使用HashingVectorizer代替CountVectorizer/TfidfVectorizer # HashingVectorizer不需要存储词汇表，节省内存 hashing_vectorizer = HashingVectorizer(n_features=2**18, alternate_sign=False) # 使用HashingVectorizer训练 X_train_hash = hashing_vectorizer.transform(train_processed) X_test_hash = hashing_vectorizer.transform(test_processed) # 训练分类器 nb_classifier_hash = MultinomialNB() nb_classifier_hash.fit(X_train_hash, newsgroups_train.target) # 评估 y_pred_hash = nb_classifier_hash.predict(X_test_hash) accuracy_hash = accuracy_score(newsgroups_test.target, y_pred_hash) print(f"使用HashingVectorizer的准确率: {accuracy_hash:.4f}")

8.2 类别不平衡问题

from sklearn.utils.class_weight import compute_class_weight # 计算类别权重 class_weights = compute_class_weight( class_weight='balanced', classes=np.unique(newsgroups_train.target), y=newsgroups_train.target ) # 使用类别权重训练分类器 lr_balanced = LogisticRegression( class_weight=dict(enumerate(class_weights)), random_state=42, max_iter=10000 ) lr_balanced.fit(X_train_tfidf, newsgroups_train.target) # 评估 y_pred_balanced = lr_balanced.predict(X_test_tfidf) accuracy_balanced = accuracy_score(newsgroups_test.target, y_pred_balanced) print(f"使用类别权重的准确率: {accuracy_balanced:.4f}")

8.3 处理多语言文本

from sklearn.feature_extraction.text import TfidfVectorizer import spacy # 加载多语言模型（需要安装spacy和相应语言模型） # python -m spacy download en_core_web_sm # python -m spacy download zh_core_web_sm def multilingual_preprocess(text, lang='en'): """ 多语言文本预处理 """ if lang == 'en': nlp = spacy.load('en_core_web_sm') elif lang == 'zh': nlp = spacy.load('zh_core_web_sm') else: # 默认使用英文处理 nlp = spacy.load('en_core_web_sm') doc = nlp(text) # 提取词元（lemmas） lemmas = [token.lemma_ for token in doc if not token.is_stop and not token.is_punct] return ' '.join(lemmas) # 示例：处理中文文本 chinese_text = "这部电影非常精彩，演员的表演令人印象深刻。" processed_chinese = multilingual_preprocess(chinese_text, lang='zh') print(f"中文文本预处理结果: {processed_chinese}")