ساخت برنامه تحلیل داده‌های یوتیوب با پایتون: پروژه‌ای خلاقانه و کاربردی

یوتیوب به عنوان یکی از بزرگترین پلتفرم‌های اشتراک ویدیو در جهان، منبع عظیمی از داده‌ها را در اختیار ما قرار می‌دهد. تحلیل این داده‌ها می‌تواند اطلاعات ارزشمندی در مورد ترندها، رفتار کاربران، و عملکرد کانال‌ها ارائه دهد. در این مقاله، به شما آموزش می‌دهیم که چگونه با استفاده از پایتون یک برنامه تحلیل داده‌های یوتیوب بسازید. این پروژه در دسته پروژه‌های خلاقانه و کاربردی پایتون قرار می‌گیرد و به شما کمک می‌کند تا مهارت‌های خود را در زمینه‌های مختلفی مانند جمع‌آوری داده‌ها (Web Scraping)، پاکسازی داده‌ها، تحلیل داده‌ها و مصورسازی داده‌ها تقویت کنید.

پیش‌نیازها

قبل از شروع، مطمئن شوید که پیش‌نیازهای زیر را دارید:

• نصب پایتون (نسخه 3.6 یا بالاتر)
• نصب کتابخانه‌های مورد نیاز:
• requests: برای ارسال درخواست‌های HTTP به یوتیوب.
• BeautifulSoup4: برای تجزیه HTML صفحات وب.
• pandas: برای کار با داده‌ها در قالب DataFrame.
• matplotlib: برای مصورسازی داده‌ها.
• seaborn: برای مصورسازی داده‌ها با کیفیت بالاتر.

می‌توانید این کتابخانه‌ها را با استفاده از pip نصب کنید:

pip install requests beautifulsoup4 pandas matplotlib seaborn

مراحل ساخت برنامه

1. جمع‌آوری داده‌ها (Web Scraping)

اولین قدم، جمع‌آوری داده‌ها از یوتیوب است. از آنجایی که یوتیوب API رسمی برای دسترسی به تمام داده‌ها وجود ندارد، ما از Web Scraping استفاده خواهیم کرد. توجه داشته باشید که Web Scraping ممکن است با محدودیت‌هایی از طرف یوتیوب مواجه شود و باید با احتیاط انجام شود. همیشه به قوانین و شرایط استفاده یوتیوب احترام بگذارید.

برای جمع‌آوری داده‌ها، می‌توانیم از کتابخانه‌های requests و BeautifulSoup4 استفاده کنیم. به عنوان مثال، برای جمع‌آوری اطلاعات مربوط به ویدیوهای یک کانال خاص، می‌توانیم کد زیر را استفاده کنیم:

import requests
from bs4 import BeautifulSoup

def get_channel_videos(channel_url):
    videos = []
    page = 1
    while True:
        url = f"{channel_url}?view=0&sort=dd&filter=video"
        response = requests.get(url)
        soup = BeautifulSoup(response.content, 'html.parser')
        video_elements = soup.find_all('div', {'class': 'style-scope ytd-grid-video-renderer'})

        if not video_elements:
            break

        for video_element in video_elements:
            title_element = video_element.find('a', {'id': 'video-title'})
            if title_element:
                title = title_element.text.strip()
                video_url = "https://www.youtube.com" + title_element['href']
                videos.append({'title': title, 'url': video_url})

        page += 1
        # برای جلوگیری از مسدود شدن، یک تاخیر اضافه کنید
        # import time
        # time.sleep(2)

    return videos

channel_url = "https://www.youtube.com/@ChannelName" # جایگزین کنید
videos = get_channel_videos(channel_url)

for video in videos:
    print(f"Title: {video['title']}")
    print(f"URL: {video['url']}")
    print("-" * 20)

این کد، ویدیوهای یک کانال را جمع‌آوری کرده و عنوان و URL هر ویدیو را چاپ می‌کند. توجه داشته باشید که ساختار HTML یوتیوب ممکن است تغییر کند، بنابراین ممکن است نیاز به به‌روزرسانی کد داشته باشید.

2. پاکسازی داده‌ها

داده‌های جمع‌آوری شده ممکن است حاوی اطلاعات نامربوط یا ناقص باشند. بنابراین، قبل از تحلیل، باید داده‌ها را پاکسازی کنیم. این شامل حذف داده‌های تکراری، اصلاح اشتباهات املایی، و تبدیل داده‌ها به فرمت مناسب است.

با استفاده از کتابخانه pandas، می‌توانیم داده‌ها را در قالب DataFrame ذخیره کرده و عملیات پاکسازی را انجام دهیم:

import pandas as pd

df = pd.DataFrame(videos)
df.drop_duplicates(inplace=True)
df['title'] = df['title'].str.lower() # تبدیل عنوان به حروف کوچک
# حذف کاراکترهای خاص
df['title'] = df['title'].str.replace('[^ws]', '', regex=True)

print(df.head())

3. تحلیل داده‌ها

پس از پاکسازی داده‌ها، می‌توانیم شروع به تحلیل آن‌ها کنیم. تحلیل داده‌ها می‌تواند شامل محاسبه آمار توصیفی، شناسایی الگوها، و پیش‌بینی روندها باشد.

به عنوان مثال، می‌توانیم تعداد ویدیوهای منتشر شده در هر ماه را محاسبه کنیم:

# فرض کنید که تاریخ انتشار ویدیوها در یک ستون به نام 'date' وجود دارد
# در این مثال، ما تاریخ انتشار را به صورت دستی اضافه می‌کنیم
import datetime
df['date'] = [datetime.date(2023, 10, i) for i in range(1, len(df) + 1)]

df['month'] = df['date'].dt.month
monthly_counts = df['month'].value_counts().sort_index()

print(monthly_counts)

همچنین می‌توانیم کلمات کلیدی پرکاربرد در عناوین ویدیوها را شناسایی کنیم:

from collections import Counter

all_titles = ' '.join(df['title'])
words = all_titles.split()
word_counts = Counter(words)

most_common_words = word_counts.most_common(10)

print(most_common_words)

4. مصورسازی داده‌ها

مصورسازی داده‌ها به ما کمک می‌کند تا الگوها و روندها را به راحتی تشخیص دهیم. با استفاده از کتابخانه‌های matplotlib و seaborn، می‌توانیم نمودارهای مختلفی را برای نمایش داده‌ها ایجاد کنیم.

به عنوان مثال، می‌توانیم نمودار میله‌ای برای نمایش تعداد ویدیوهای منتشر شده در هر ماه رسم کنیم:

import matplotlib.pyplot as plt
import seaborn as sns

sns.barplot(x=monthly_counts.index, y=monthly_counts.values)
plt.xlabel("Month")
plt.ylabel("Number of Videos")
plt.title("Number of Videos Published per Month")
plt.show()

همچنین می‌توانیم نمودار پراکندگی برای نمایش رابطه بین تعداد بازدیدها و تعداد لایک‌ها رسم کنیم (فرض کنید این اطلاعات در DataFrame وجود دارند):

# فرض کنید ستون‌های 'views' و 'likes' وجود دارند
plt.scatter(df['views'], df['likes'])
plt.xlabel("Views")
plt.ylabel("Likes")
plt.title("Relationship between Views and Likes")
plt.show()

نکات تکمیلی

• مدیریت خطا: در هنگام Web Scraping، ممکن است با خطاها مواجه شوید. بنابراین، باید کد خود را به گونه‌ای طراحی کنید که بتواند خطاها را به درستی مدیریت کند.
• رعایت قوانین یوتیوب: همیشه به قوانین و شرایط استفاده یوتیوب احترام بگذارید و از ارسال درخواست‌های بیش از حد خودداری کنید.
• استفاده از API: اگر یوتیوب API رسمی برای دسترسی به داده‌های مورد نیاز شما وجود دارد، بهتر است از آن استفاده کنید.
• بهبود کارایی: برای جمع‌آوری داده‌ها از کانال‌های بزرگ، می‌توانید از تکنیک‌های موازی‌سازی و چندنخی استفاده کنید.
• ذخیره داده‌ها: داده‌های جمع‌آوری شده را در یک پایگاه داده یا فایل ذخیره کنید تا در آینده بتوانید به آن‌ها دسترسی داشته باشید.

نتیجه‌گیری

در این مقاله، به شما آموزش دادیم که چگونه با استفاده از پایتون یک برنامه تحلیل داده‌های یوتیوب بسازید. این پروژه می‌تواند به شما کمک کند تا مهارت‌های خود را در زمینه‌های مختلفی مانند Web Scraping، پاکسازی داده‌ها، تحلیل داده‌ها و مصورسازی داده‌ها تقویت کنید. با کمی خلاقیت و تلاش، می‌توانید این برنامه را گسترش داده و قابلیت‌های بیشتری به آن اضافه کنید.