استفاده از Scikit-learn در علم داده و یادگیری ماشین با پایتون

Scikit-learn یک کتابخانه قدرتمند و محبوب پایتون برای علم داده و یادگیری ماشین است. این کتابخانه مجموعه‌ای گسترده از الگوریتم‌ها و ابزارهای لازم برای انجام وظایف مختلفی مانند طبقه‌بندی، رگرسیون، خوشه‌بندی، کاهش ابعاد و انتخاب مدل را فراهم می‌کند. این مقاله به بررسی جامع Scikit-learn، مفاهیم کلیدی، و نحوه استفاده از آن در پروژه‌های واقعی می‌پردازد.

مقدمه‌ای بر Scikit-learn

Scikit-learn بر پایه NumPy، SciPy و Matplotlib ساخته شده است و به گونه‌ای طراحی شده است که استفاده از آن آسان و کارآمد باشد. این کتابخانه دارای یک رابط برنامه‌نویسی یکنواخت (API) است که یادگیری و استفاده از الگوریتم‌های مختلف را ساده می‌کند. Scikit-learn به طور گسترده در صنعت و تحقیقات دانشگاهی مورد استفاده قرار می‌گیرد و به عنوان یک ابزار ضروری برای هر دانشمند داده و مهندس یادگیری ماشین محسوب می‌شود.

نصب و راه‌اندازی

نصب Scikit-learn بسیار ساده است و می‌توان آن را با استفاده از pip انجام داد:

pip install scikit-learn

پس از نصب، می‌توانید Scikit-learn را در اسکریپت‌های پایتون خود import کنید:

import sklearn

مفاهیم کلیدی در Scikit-learn

درک مفاهیم کلیدی Scikit-learn برای استفاده موثر از این کتابخانه ضروری است. برخی از این مفاهیم عبارتند از:

• Estimator: یک شیء که می‌تواند از داده‌ها یاد بگیرد و پیش‌بینی انجام دهد. تمام الگوریتم‌های Scikit-learn از این کلاس مشتق شده‌اند.
• Transformer: یک شیء که داده‌ها را به شکل دیگری تبدیل می‌کند. این ابزار برای پیش‌پردازش داده‌ها و استخراج ویژگی‌ها استفاده می‌شود.
• Pipeline: یک زنجیره از Transformerها و یک Estimator که برای ساده‌سازی فرآیند یادگیری ماشین استفاده می‌شود.
• Dataset: مجموعه داده‌ای که برای آموزش و ارزیابی مدل استفاده می‌شود.
• Feature: یک ویژگی یا متغیر مستقل که برای پیش‌بینی متغیر وابسته استفاده می‌شود.
• Target: متغیر وابسته که می‌خواهیم پیش‌بینی کنیم.

پیش‌پردازش داده‌ها

پیش‌پردازش داده‌ها یک مرحله حیاتی در هر پروژه یادگیری ماشین است. Scikit-learn ابزارهای مختلفی برای پیش‌پردازش داده‌ها ارائه می‌دهد، از جمله:

• StandardScaler: مقیاس‌بندی داده‌ها به طوری که میانگین برابر با صفر و انحراف معیار برابر با یک باشد.
• MinMaxScaler: مقیاس‌بندی داده‌ها به محدوده [0, 1].
• Imputer: جایگزینی مقادیر گمشده با مقادیر تخمینی.
• OneHotEncoder: تبدیل متغیرهای دسته‌ای به فرمت عددی.

مثال:

from sklearn.preprocessing import StandardScaler

# فرض کنید X یک آرایه NumPy حاوی داده‌های شماست
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

الگوریتم‌های یادگیری ماشین در Scikit-learn

Scikit-learn طیف گسترده‌ای از الگوریتم‌های یادگیری ماشین را ارائه می‌دهد. برخی از مهم‌ترین الگوریتم‌ها عبارتند از:

طبقه‌بندی

• Logistic Regression: یک الگوریتم خطی برای طبقه‌بندی باینری و چند کلاسه.
• Support Vector Machines (SVM): یک الگوریتم قدرتمند برای طبقه‌بندی و رگرسیون.
• Decision Trees: یک الگوریتم مبتنی بر درخت برای طبقه‌بندی و رگرسیون.
• Random Forests: یک الگوریتم ensemble که از چندین درخت تصمیم‌گیری استفاده می‌کند.
• K-Nearest Neighbors (KNN): یک الگوریتم ساده که بر اساس نزدیکی به همسایگان طبقه‌بندی می‌کند.

رگرسیون

• Linear Regression: یک الگوریتم خطی برای پیش‌بینی مقادیر پیوسته.
• Polynomial Regression: یک الگوریتم رگرسیون که از چندجمله‌ای‌ها استفاده می‌کند.
• Ridge Regression: یک الگوریتم رگرسیون خطی با regularization L2.
• Lasso Regression: یک الگوریتم رگرسیون خطی با regularization L1.

خوشه‌بندی

• K-Means: یک الگوریتم خوشه‌بندی که داده‌ها را به k خوشه تقسیم می‌کند.
• Hierarchical Clustering: یک الگوریتم خوشه‌بندی که یک سلسله مراتب از خوشه‌ها ایجاد می‌کند.
• DBSCAN: یک الگوریتم خوشه‌بندی مبتنی بر چگالی.

آموزش و ارزیابی مدل

پس از انتخاب الگوریتم مناسب، باید مدل را با استفاده از داده‌های آموزشی آموزش دهیم و سپس عملکرد آن را با استفاده از داده‌های آزمایشی ارزیابی کنیم. Scikit-learn ابزارهای مختلفی برای آموزش و ارزیابی مدل ارائه می‌دهد، از جمله:

• train_test_split: تقسیم داده‌ها به مجموعه‌های آموزشی و آزمایشی.
• fit: آموزش مدل با استفاده از داده‌های آموزشی.
• predict: پیش‌بینی مقادیر برای داده‌های جدید.
• score: ارزیابی عملکرد مدل با استفاده از یک معیار ارزیابی.
• cross_val_score: ارزیابی عملکرد مدل با استفاده از cross-validation.

مثال:

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# تقسیم داده‌ها به مجموعه‌های آموزشی و آزمایشی
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# ایجاد یک مدل Logistic Regression
model = LogisticRegression()

# آموزش مدل با استفاده از داده‌های آموزشی
model.fit(X_train, y_train)

# پیش‌بینی مقادیر برای داده‌های آزمایشی
y_pred = model.predict(X_test)

# ارزیابی عملکرد مدل
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

انتخاب مدل و تنظیم هایپرپارامترها

انتخاب مدل مناسب و تنظیم هایپرپارامترهای آن برای دستیابی به بهترین عملکرد ضروری است. Scikit-learn ابزارهای مختلفی برای انتخاب مدل و تنظیم هایپرپارامترها ارائه می‌دهد، از جمله:

• GridSearchCV: جستجوی جامع در یک شبکه از هایپرپارامترها.
• RandomizedSearchCV: جستجوی تصادفی در یک توزیع از هایپرپارامترها.

مثال:

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

# تعریف یک شبکه از هایپرپارامترها
param_grid = {'C': [0.1, 1, 10, 100], 'kernel': ['linear', 'rbf']}

# ایجاد یک مدل SVC
model = SVC()

# انجام جستجوی شبکه
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# بهترین مدل
best_model = grid_search.best_estimator_

Pipelineها

Pipelineها ابزاری قدرتمند برای ساده‌سازی فرآیند یادگیری ماشین هستند. با استفاده از Pipelineها، می‌توانید یک زنجیره از Transformerها و یک Estimator را تعریف کنید و سپس آن را به طور کامل آموزش دهید و ارزیابی کنید. این کار باعث می‌شود که کد شما تمیزتر و قابل نگهداری‌تر باشد.

مثال:

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# ایجاد یک Pipeline
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('model', LogisticRegression())
])

# آموزش Pipeline
pipeline.fit(X_train, y_train)

# پیش‌بینی مقادیر
y_pred = pipeline.predict(X_test)

نتیجه‌گیری

Scikit-learn یک کتابخانه قدرتمند و انعطاف‌پذیر برای علم داده و یادگیری ماشین است. با استفاده از Scikit-learn، می‌توانید به راحتی الگوریتم‌های مختلف را پیاده‌سازی کنید، داده‌ها را پیش‌پردازش کنید، مدل‌ها را آموزش دهید و ارزیابی کنید، و هایپرپارامترها را تنظیم کنید. این کتابخانه یک ابزار ضروری برای هر دانشمند داده و مهندس یادگیری ماشین است.