اعتبارسنجی متقابل: راهنمای جامع با پایتون

اعتبارسنجی متقابل (Cross-Validation) یکی از مهم‌ترین تکنیک‌ها در علم داده و یادگیری ماشین است که برای ارزیابی عملکرد مدل‌های پیش‌بینی استفاده می‌شود. هدف اصلی، تخمین دقیق‌تر از نحوه عملکرد مدل بر روی داده‌های جدید و دیده نشده است. در این مقاله، به بررسی عمیق این تکنیک، انواع مختلف آن و نحوه پیاده‌سازی آن با استفاده از پایتون خواهیم پرداخت.

چرا به اعتبارسنجی متقابل نیاز داریم؟

هنگام آموزش یک مدل یادگیری ماشین، معمولاً داده‌ها را به دو مجموعه تقسیم می‌کنیم: مجموعه آموزش (Training Set) و مجموعه آزمون (Test Set). مدل بر روی مجموعه آموزش آموزش داده می‌شود و سپس عملکرد آن بر روی مجموعه آزمون ارزیابی می‌شود. اما این روش می‌تواند مشکلاتی داشته باشد:

• وابستگی به تقسیم داده‌ها: عملکرد مدل می‌تواند به نحوه تقسیم داده‌ها به مجموعه‌های آموزش و آزمون وابسته باشد. یک تقسیم خاص ممکن است به طور تصادفی به نفع یا ضرر مدل باشد.
• کمبود داده: اگر مجموعه داده کوچک باشد، استفاده از یک مجموعه آزمون جداگانه می‌تواند منجر به کاهش حجم داده‌های موجود برای آموزش مدل شود.
• تخمین بیش از حد خوش‌بینانه: ممکن است مدل بر روی مجموعه آزمون عملکرد بهتری از آنچه در واقعیت دارد نشان دهد، به خصوص اگر مجموعه آزمون نماینده خوبی از داده‌های واقعی نباشد.

اعتبارسنجی متقابل این مشکلات را با استفاده از چندین تقسیم مختلف از داده‌ها حل می‌کند و یک تخمین پایدارتر و قابل اعتمادتر از عملکرد مدل ارائه می‌دهد.

انواع اعتبارسنجی متقابل

چندین نوع مختلف از اعتبارسنجی متقابل وجود دارد که هر کدام برای شرایط خاصی مناسب هستند. در اینجا به رایج‌ترین انواع آن اشاره می‌کنیم:

۱. K-Fold Cross-Validation

این رایج‌ترین نوع اعتبارسنجی متقابل است. در این روش، مجموعه داده به K قسمت (Fold) مساوی تقسیم می‌شود. سپس، K بار تکرار می‌شود، و در هر تکرار، یک قسمت به عنوان مجموعه آزمون و بقیه قسمت‌ها به عنوان مجموعه آموزش استفاده می‌شوند. در نهایت، میانگین عملکرد مدل در تمام K تکرار محاسبه می‌شود.

انتخاب مقدار K بستگی به اندازه مجموعه داده دارد. معمولاً K برابر با 5 یا 10 انتخاب می‌شود. هرچه K بزرگتر باشد، تخمین عملکرد مدل دقیق‌تر خواهد بود، اما زمان محاسبات نیز افزایش می‌یابد.

۲. Stratified K-Fold Cross-Validation

این نوع اعتبارسنجی متقابل برای مجموعه‌های داده‌ای که دارای کلاس‌های نامتعادل هستند (یعنی تعداد نمونه‌ها در هر کلاس متفاوت است) مناسب است. در این روش، تقسیم داده‌ها به قسمت‌ها به گونه‌ای انجام می‌شود که نسبت نمونه‌های هر کلاس در هر قسمت با نسبت نمونه‌های هر کلاس در مجموعه داده اصلی یکسان باشد. این کار باعث می‌شود که عملکرد مدل در تمام کلاس‌ها به طور عادلانه‌تری ارزیابی شود.

۳. Leave-One-Out Cross-Validation (LOOCV)

در این روش، هر نمونه از مجموعه داده به عنوان مجموعه آزمون استفاده می‌شود و بقیه نمونه‌ها به عنوان مجموعه آموزش. این روش برای مجموعه‌های داده کوچک مناسب است، اما می‌تواند از نظر محاسباتی بسیار پرهزینه باشد.

۴. Repeated K-Fold Cross-Validation

این روش، K-Fold Cross-Validation را چندین بار با تقسیم‌های تصادفی مختلف از داده‌ها تکرار می‌کند. این کار باعث می‌شود که تخمین عملکرد مدل پایدارتر و قابل اعتمادتر شود.

پیاده‌سازی اعتبارسنجی متقابل با پایتون

پایتون کتابخانه‌های قدرتمندی مانند scikit-learn را برای پیاده‌سازی اعتبارسنجی متقابل ارائه می‌دهد. در اینجا نحوه استفاده از این کتابخانه‌ها را برای انواع مختلف اعتبارسنجی متقابل نشان می‌دهیم:

۱. K-Fold Cross-Validation

برای پیاده‌سازی K-Fold Cross-Validation، می‌توان از کلاس KFold در scikit-learn استفاده کرد.

from sklearn.model_selection import KFold
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score

# بارگیری مجموعه داده Iris
iris = load_iris()
X = iris.data
y = iris.target

# ایجاد شی KFold با K=5
kf = KFold(n_splits=5, shuffle=True, random_state=42)

# ایجاد مدل Logistic Regression
model = LogisticRegression(solver='liblinear', multi_class='ovr', random_state=42)

# انجام اعتبارسنجی متقابل
scores = []
for train_index, test_index in kf.split(X):
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

    # آموزش مدل
    model.fit(X_train, y_train)

    # پیش‌بینی و ارزیابی
    y_pred = model.predict(X_test)
    score = accuracy_score(y_test, y_pred)
    scores.append(score)

# محاسبه میانگین امتیاز
mean_score = sum(scores) / len(scores)
print(f"میانگین امتیاز: {mean_score}")

۲. Stratified K-Fold Cross-Validation

برای پیاده‌سازی Stratified K-Fold Cross-Validation، می‌توان از کلاس StratifiedKFold در scikit-learn استفاده کرد.

from sklearn.model_selection import StratifiedKFold
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score

# بارگیری مجموعه داده Iris
iris = load_iris()
X = iris.data
y = iris.target

# ایجاد شی StratifiedKFold با K=5
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

# ایجاد مدل Logistic Regression
model = LogisticRegression(solver='liblinear', multi_class='ovr', random_state=42)

# انجام اعتبارسنجی متقابل
scores = []
for train_index, test_index in skf.split(X, y):
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

    # آموزش مدل
    model.fit(X_train, y_train)

    # پیش‌بینی و ارزیابی
    y_pred = model.predict(X_test)
    score = accuracy_score(y_test, y_pred)
    scores.append(score)

# محاسبه میانگین امتیاز
mean_score = sum(scores) / len(scores)
print(f"میانگین امتیاز: {mean_score}")

۳. استفاده از cross_val_score

scikit-learn تابع cross_val_score را نیز ارائه می‌دهد که به طور خودکار اعتبارسنجی متقابل را انجام می‌دهد و امتیازات را برمی‌گرداند.

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris

# بارگیری مجموعه داده Iris
iris = load_iris()
X = iris.data
y = iris.target

# ایجاد مدل Logistic Regression
model = LogisticRegression(solver='liblinear', multi_class='ovr', random_state=42)

# انجام اعتبارسنجی متقابل با K=5
scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')

# چاپ امتیازات
print(f"امتیازات: {scores}")

# محاسبه میانگین امتیاز
mean_score = sum(scores) / len(scores)
print(f"میانگین امتیاز: {mean_score}")

نکات مهم در استفاده از اعتبارسنجی متقابل

• انتخاب معیار ارزیابی مناسب: بسته به نوع مسئله (طبقه‌بندی، رگرسیون و غیره) باید معیار ارزیابی مناسب را انتخاب کنید (مانند دقت، صحت، Recall، F1-score، RMSE و غیره).
• تنظیم پارامترهای مدل: اعتبارسنجی متقابل می‌تواند برای تنظیم پارامترهای مدل (Hyperparameter Tuning) نیز استفاده شود.
• استفاده از داده‌های نماینده: اطمینان حاصل کنید که مجموعه داده‌ای که برای اعتبارسنجی متقابل استفاده می‌کنید، نماینده خوبی از داده‌های واقعی باشد.
• در نظر گرفتن هزینه محاسباتی: برخی از روش‌های اعتبارسنجی متقابل (مانند LOOCV) می‌توانند از نظر محاسباتی پرهزینه باشند.

نتیجه‌گیری

اعتبارسنجی متقابل یک ابزار قدرتمند برای ارزیابی عملکرد مدل‌های یادگیری ماشین است. با استفاده از این تکنیک، می‌توان تخمین دقیق‌تر و قابل اعتمادتری از نحوه عملکرد مدل بر روی داده‌های جدید و دیده نشده به دست آورد. پایتون با ارائه کتابخانه‌هایی مانند scikit-learn، پیاده‌سازی اعتبارسنجی متقابل را بسیار آسان کرده است. با درک انواع مختلف اعتبارسنجی متقابل و نحوه استفاده از آن‌ها، می‌توانید مدل‌های یادگیری ماشین بهتری ایجاد کنید.