F1 Score: معیاری جامع برای ارزیابی مدل‌های دسته‌بندی

در حوزه علم داده و یادگیری ماشین، ارزیابی عملکرد مدل‌های دسته‌بندی از اهمیت بسزایی برخوردار است. در حالی که دقت (Accuracy) به عنوان یک معیار اولیه به نظر می‌رسد، اغلب اوقات نمی‌تواند تصویر کاملی از عملکرد مدل ارائه دهد، به خصوص در مواردی که داده‌ها نامتعادل هستند. در این مقاله، به بررسی معیار F1 Score می‌پردازیم، که یک معیار جامع‌تر و قابل اعتمادتر برای ارزیابی مدل‌های دسته‌بندی است. همچنین، نحوه محاسبه و تفسیر F1 Score را با استفاده از پایتون و کتابخانه‌های مرتبط آموزش خواهیم داد.

چرا دقت (Accuracy) کافی نیست؟

دقت به سادگی نسبت تعداد پیش‌بینی‌های درست به کل پیش‌بینی‌ها را نشان می‌دهد. این معیار زمانی مناسب است که کلاس‌ها در داده‌ها به طور مساوی توزیع شده باشند. اما در بسیاری از مسائل واقعی، داده‌ها نامتعادل هستند، به این معنی که یک کلاس نسبت به کلاس‌های دیگر نمونه‌های بیشتری دارد. به عنوان مثال، در تشخیص بیماری‌های نادر، تعداد نمونه‌های سالم بسیار بیشتر از تعداد نمونه‌های بیمار است. در چنین شرایطی، یک مدل می‌تواند با پیش‌بینی تمام نمونه‌ها به عنوان سالم، دقت بالایی کسب کند، اما در واقع هیچ ارزشی برای تشخیص بیماری نداشته باشد.

معرفی F1 Score

F1 Score یک میانگین هارمونیک از دقت (Precision) و بازخوانی (Recall) است. این معیار، تعادلی بین این دو معیار برقرار می‌کند و به همین دلیل، برای ارزیابی مدل‌های دسته‌بندی در داده‌های نامتعادل بسیار مناسب است. F1 Score بین 0 و 1 قرار دارد، که 1 نشان‌دهنده بهترین عملکرد و 0 نشان‌دهنده بدترین عملکرد است.

دقت (Precision)

دقت، نسبت تعداد پیش‌بینی‌های مثبت درست به کل پیش‌بینی‌های مثبت را نشان می‌دهد. به عبارت دیگر، دقت نشان می‌دهد که از بین تمام نمونه‌هایی که مدل به عنوان مثبت پیش‌بینی کرده است، چه نسبتی واقعاً مثبت هستند. فرمول دقت به صورت زیر است:

دقت = TP / (TP + FP)

که در آن:

• TP (True Positive): تعداد نمونه‌های مثبت که به درستی به عنوان مثبت پیش‌بینی شده‌اند.
• FP (False Positive): تعداد نمونه‌های منفی که به اشتباه به عنوان مثبت پیش‌بینی شده‌اند.

بازخوانی (Recall)

بازخوانی، نسبت تعداد پیش‌بینی‌های مثبت درست به کل نمونه‌های مثبت واقعی را نشان می‌دهد. به عبارت دیگر، بازخوانی نشان می‌دهد که مدل چه نسبتی از تمام نمونه‌های مثبت واقعی را به درستی شناسایی کرده است. فرمول بازخوانی به صورت زیر است:

بازخوانی = TP / (TP + FN)

که در آن:

• TP (True Positive): تعداد نمونه‌های مثبت که به درستی به عنوان مثبت پیش‌بینی شده‌اند.
• FN (False Negative): تعداد نمونه‌های مثبت که به اشتباه به عنوان منفی پیش‌بینی شده‌اند.

فرمول F1 Score

F1 Score به صورت زیر محاسبه می‌شود:

F1 Score = 2 * (دقت * بازخوانی) / (دقت + بازخوانی)

محاسبه F1 Score با استفاده از پایتون

برای محاسبه F1 Score در پایتون، می‌توان از کتابخانه‌هایی مانند scikit-learn استفاده کرد. در اینجا یک مثال ساده آورده شده است:

from sklearn.metrics import f1_score

# نمونه داده‌های واقعی و پیش‌بینی شده
y_true = [0, 1, 1, 0, 1, 0]
y_pred = [0, 1, 0, 0, 1, 1]

# محاسبه F1 Score
f1 = f1_score(y_true, y_pred)

# چاپ نتیجه
print("F1 Score:", f1)

در این مثال، `y_true` لیست داده‌های واقعی و `y_pred` لیست داده‌های پیش‌بینی شده توسط مدل است. تابع `f1_score` از کتابخانه scikit-learn، F1 Score را محاسبه می‌کند و نتیجه را چاپ می‌کند.

F1 Score برای مسائل چند کلاسه

F1 Score را می‌توان برای مسائل چند کلاسه نیز محاسبه کرد. در این حالت، F1 Score برای هر کلاس به طور جداگانه محاسبه می‌شود و سپس می‌توان میانگین آن‌ها را به عنوان F1 Score کلی در نظر گرفت. دو روش رایج برای محاسبه میانگین F1 Score وجود دارد:

• Micro-average: در این روش، TP، FP و FN برای تمام کلاس‌ها جمع زده می‌شوند و سپس F1 Score محاسبه می‌شود.
• Macro-average: در این روش، F1 Score برای هر کلاس به طور جداگانه محاسبه می‌شود و سپس میانگین آن‌ها به عنوان F1 Score کلی در نظر گرفته می‌شود.

انتخاب بین Micro-average و Macro-average به نوع مسئله و اهمیت کلاس‌ها بستگی دارد. اگر تمام کلاس‌ها به یک اندازه مهم باشند، Macro-average مناسب است. اما اگر برخی از کلاس‌ها مهم‌تر از سایرین باشند، Micro-average ممکن است گزینه بهتری باشد.

در پایتون، می‌توان از پارامتر `average` در تابع `f1_score` برای تعیین روش محاسبه میانگین استفاده کرد:

from sklearn.metrics import f1_score

# نمونه داده‌های واقعی و پیش‌بینی شده برای یک مسئله چند کلاسه
y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]

# محاسبه F1 Score با Micro-average
f1_micro = f1_score(y_true, y_pred, average='micro')

# محاسبه F1 Score با Macro-average
f1_macro = f1_score(y_true, y_pred, average='macro')

# چاپ نتایج
print("F1 Score (Micro-average):", f1_micro)
print("F1 Score (Macro-average):", f1_macro)

تفسیر F1 Score

F1 Score یک معیار نسبی است و تفسیر آن به زمینه مسئله بستگی دارد. با این حال، به طور کلی می‌توان گفت:

• F1 Score = 1: مدل عملکرد کاملی دارد و تمام نمونه‌های مثبت را به درستی شناسایی کرده است.
• F1 Score = 0: مدل هیچ نمونه مثبتی را به درستی شناسایی نکرده است.
• F1 Score بین 0 و 1: نشان‌دهنده عملکرد متوسط مدل است. هرچه F1 Score به 1 نزدیک‌تر باشد، عملکرد مدل بهتر است.

همچنین، مهم است که F1 Score را در کنار سایر معیارها مانند دقت، بازخوانی و AUC-ROC ارزیابی کنید تا تصویر کاملی از عملکرد مدل به دست آورید.

نکات مهم در استفاده از F1 Score

• داده‌های نامتعادل: F1 Score برای ارزیابی مدل‌های دسته‌بندی در داده‌های نامتعادل بسیار مناسب است.
• اهمیت دقت و بازخوانی: F1 Score تعادلی بین دقت و بازخوانی برقرار می‌کند. اگر دقت یا بازخوانی برای مسئله شما مهم‌تر است، باید به آن معیار توجه بیشتری کنید.
• مسائل چند کلاسه: در مسائل چند کلاسه، باید روش مناسب برای محاسبه میانگین F1 Score (Micro-average یا Macro-average) را انتخاب کنید.
• تفسیر نسبی: F1 Score یک معیار نسبی است و تفسیر آن به زمینه مسئله بستگی دارد.

نتیجه‌گیری

F1 Score یک معیار قدرتمند و جامع برای ارزیابی مدل‌های دسته‌بندی است. این معیار، تعادلی بین دقت و بازخوانی برقرار می‌کند و به همین دلیل، برای ارزیابی مدل‌ها در داده‌های نامتعادل بسیار مناسب است. با استفاده از پایتون و کتابخانه‌های مرتبط، می‌توان به راحتی F1 Score را محاسبه و تفسیر کرد. با درک صحیح F1 Score و سایر معیارهای ارزیابی، می‌توان مدل‌های یادگیری ماشین را به طور موثرتری ارزیابی و بهبود بخشید.