استخراج ویژگی‌ها از متن: راهنمای جامع با پایتون

استخراج ویژگی‌ها از متن (Text Feature Extraction) یکی از مراحل حیاتی در پردازش زبان طبیعی (NLP) و یادگیری ماشین است. این فرآیند شامل تبدیل داده‌های متنی خام به فرمتی قابل فهم برای الگوریتم‌های یادگیری ماشین است. الگوریتم‌ها نمی‌توانند مستقیماً با متن کار کنند، بنابراین نیاز به نمایش عددی متن وجود دارد. این مقاله به بررسی روش‌های مختلف استخراج ویژگی از متن با استفاده از پایتون می‌پردازد و برای افراد با دانش پایه در علم داده و یادگیری ماشین مناسب است.

چرا استخراج ویژگی از متن مهم است؟

متن، سرشار از اطلاعات است، اما این اطلاعات به صورت ساختاریافته نیستند. استخراج ویژگی به ما کمک می‌کند تا اطلاعات مهم را از متن استخراج کرده و آن‌ها را به شکلی قابل استفاده برای الگوریتم‌های یادگیری ماشین تبدیل کنیم. این ویژگی‌ها می‌توانند برای انجام وظایفی مانند طبقه‌بندی متن (Text Classification)، تحلیل احساسات (Sentiment Analysis)، تشخیص موضوع (Topic Modeling) و غیره مورد استفاده قرار گیرند. کیفیت ویژگی‌های استخراج شده، تأثیر مستقیمی بر عملکرد مدل یادگیری ماشین دارد.

روش‌های اصلی استخراج ویژگی از متن

روش‌های متعددی برای استخراج ویژگی از متن وجود دارد. در ادامه به برخی از مهم‌ترین آن‌ها اشاره می‌کنیم:

1. Bag of Words (BoW)

BoW یکی از ساده‌ترین و پرکاربردترین روش‌های استخراج ویژگی از متن است. در این روش، متن به مجموعه‌ای از کلمات (توکن‌ها) تبدیل می‌شود و فرکانس هر کلمه در متن به عنوان ویژگی در نظر گرفته می‌شود. ترتیب کلمات در این روش نادیده گرفته می‌شود. به عنوان مثال، جملات “گربه روی حصیر نشست” و “حصیر روی گربه نشست” از نظر BoW یکسان در نظر گرفته می‌شوند.

پیاده‌سازی در پایتون:

from sklearn.feature_extraction.text import CountVectorizer

corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?'
]

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)

print(vectorizer.get_feature_names_out())
print(X.toarray())

2. TF-IDF (Term Frequency-Inverse Document Frequency)

TF-IDF یک بهبود نسبت به BoW است. این روش علاوه بر فرکانس کلمات در یک سند (TF)، اهمیت کلمه را در کل مجموعه اسناد (IDF) نیز در نظر می‌گیرد. کلماتی که در یک سند زیاد تکرار می‌شوند اما در کل مجموعه اسناد کم‌تکرار هستند، وزن بیشتری دریافت می‌کنند. این روش به شناسایی کلمات کلیدی و مهم در هر سند کمک می‌کند.

پیاده‌سازی در پایتون:

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?'
]

vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)

print(vectorizer.get_feature_names_out())
print(X.toarray())

3. N-grams

N-grams به دنباله‌هایی از N کلمه متوالی در متن اشاره دارد. به عنوان مثال، در متن “من به یادگیری ماشین علاقه دارم”، 2-grams (bigrams) عبارتند از: “من به”، “به یادگیری”، “یادگیری ماشین”، “ماشین علاقه”، “علاقه دارم”. استفاده از N-grams به مدل کمک می‌کند تا ترتیب کلمات را در نظر بگیرد و اطلاعات بیشتری را از متن استخراج کند.

پیاده‌سازی در پایتون:

from sklearn.feature_extraction.text import CountVectorizer

corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?'
]

vectorizer = CountVectorizer(ngram_range=(2, 2)) # استفاده از bigrams
X = vectorizer.fit_transform(corpus)

print(vectorizer.get_feature_names_out())
print(X.toarray())

4. Word Embeddings (Word2Vec, GloVe, FastText)

Word Embeddings روشی پیشرفته‌تر برای نمایش کلمات به صورت برداری است. در این روش، هر کلمه به یک بردار با ابعاد بالا نگاشت می‌شود. این بردارها به گونه‌ای آموزش داده می‌شوند که کلماتی که از نظر معنایی به هم نزدیک هستند، در فضای برداری نیز به هم نزدیک باشند. Word2Vec، GloVe و FastText از جمله محبوب‌ترین الگوریتم‌های تولید Word Embeddings هستند.

پیاده‌سازی در پایتون (با استفاده از Gensim):

from gensim.models import Word2Vec

sentences = [
    ['This', 'is', 'the', 'first', 'document'],
    ['This', 'document', 'is', 'the', 'second', 'document'],
    ['And', 'this', 'is', 'the', 'third', 'one'],
    ['Is', 'this', 'the', 'first', 'document']
]

model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

print(model.wv['document'])

5. Doc2Vec

Doc2Vec (Paragraph Vector) یک توسعه از Word2Vec است که به جای نگاشت کلمات، کل اسناد را به بردار نگاشت می‌کند. این روش برای وظایفی مانند طبقه‌بندی اسناد و خوشه‌بندی اسناد بسیار مفید است.

پیاده‌سازی در پایتون (با استفاده از Gensim):

from gensim.models.doc2vec import Doc2Vec, TaggedDocument

documents = [
    TaggedDocument(words=['This', 'is', 'the', 'first', 'document'], tags=['doc1']),
    TaggedDocument(words=['This', 'document', 'is', 'the', 'second', 'document'], tags=['doc2']),
    TaggedDocument(words=['And', 'this', 'is', 'the', 'third', 'one'], tags=['doc3']),
    TaggedDocument(words=['Is', 'this', 'the', 'first', 'document'], tags=['doc4'])
]

model = Doc2Vec(documents, vector_size=100, window=5, min_count=1, workers=4)

print(model.docvecs['doc1'])

پیش‌پردازش متن

قبل از استخراج ویژگی از متن، معمولاً نیاز به انجام پیش‌پردازش‌هایی بر روی متن است. این پیش‌پردازش‌ها شامل:

• تبدیل به حروف کوچک: تبدیل تمام حروف به حروف کوچک برای جلوگیری از تفاوت در نظر گرفتن کلمات با حروف بزرگ و کوچک.
• حذف علائم نگارشی: حذف علائم نگارشی مانند نقطه، ویرگول، علامت سوال و غیره.
• حذف کلمات توقف (Stop Words): حذف کلماتی که اطلاعات مفیدی ندارند، مانند “و”، “یا”، “در”، “به” و غیره.
• ریشه‌یابی (Stemming) و لماتیزاسیون (Lemmatization): تبدیل کلمات به ریشه اصلی خود برای کاهش ابعاد ویژگی‌ها.

پیاده‌سازی در پایتون (با استفاده از NLTK):

import nltk
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer

nltk.download('stopwords')
nltk.download('wordnet')

stop_words = set(stopwords.words('persian')) # برای زبان فارسی
lemmatizer = WordNetLemmatizer()

def preprocess_text(text):
    text = text.lower()
    text = ''.join([char for char in text if char.isalnum() or char.isspace()])
    words = text.split()
    words = [word for word in words if word not in stop_words]
    words = [lemmatizer.lemmatize(word) for word in words]
    return ' '.join(words)

text = "این یک متن نمونه است که برای آزمایش پیش‌پردازش استفاده می‌شود."
processed_text = preprocess_text(text)
print(processed_text)

انتخاب روش مناسب

انتخاب روش مناسب برای استخراج ویژگی از متن به نوع داده، وظیفه مورد نظر و منابع محاسباتی موجود بستگی دارد. BoW و TF-IDF روش‌های ساده و سریعی هستند که برای بسیاری از وظایف مناسب هستند. N-grams به مدل کمک می‌کند تا ترتیب کلمات را در نظر بگیرد. Word Embeddings و Doc2Vec روش‌های پیشرفته‌تری هستند که می‌توانند نتایج بهتری ارائه دهند، اما نیاز به منابع محاسباتی بیشتری دارند.

نتیجه‌گیری

استخراج ویژگی از متن یک گام ضروری در پردازش زبان طبیعی و یادگیری ماشین است. با استفاده از روش‌های مختلف استخراج ویژگی و پیش‌پردازش متن، می‌توان داده‌های متنی خام را به فرمتی قابل فهم برای الگوریتم‌های یادگیری ماشین تبدیل کرد و نتایج بهتری را در وظایف مختلف NLP به دست آورد. درک این روش‌ها و انتخاب روش مناسب، کلید موفقیت در پروژه‌های مرتبط با پردازش زبان طبیعی است.