آموزش شبکه‌های عصبی گرافی (GNN) برای داده‌های گرافی

در دنیای امروز که حجم عظیمی از داده‌ها به شکل شبکه‌ها و گراف‌ها سازمان‌دهی می‌شوند، نیاز به ابزارهای پیشرفته برای تحلیل این ساختارهای پیچیده بیش از پیش احساس می‌شود. از شبکه‌های اجتماعی گرفته تا ساختار مولکولی داروها، از سیستم‌های توصیه‌گر تا شبکه‌های ترافیکی شهری، همه این موارد را می‌توان به صورت گراف مدل‌سازی کرد. شبکه‌های عصبی گرافی در حوزه‌های متنوعی همچون شبکه‌های اجتماعی، شبکه‌های استنادی، زیست‌شناسی مولکولی، شیمی، فیزیک و مسائل بهینه‌سازی ترکیبیاتی کاربرد دارند.

شبکه‌های عصبی گرافی (Graph Neural Networks یا GNN) نوعی معماری یادگیری عمیق هستند که برای پردازش و تحلیل داده‌های گرافی طراحی شده‌اند. این شبکه‌ها از الهام از الگوریتم‌های یادگیری عمیق مانند شبکه‌های عصبی کانولوشنی و شبکه‌های عصبی بازگشتی توسعه یافته‌اند، اما تفاوت‌های کلیدی با آن‌ها دارند. در این مقاله به بررسی جامع مفاهیم، معماری‌ها و روش‌های آموزش GNN خواهیم پرداخت.

مفاهیم پایه‌ای گراف و GNN

ساختار داده گراف

گراف ساختار داده‌ای است که از دو جزء اصلی تشکیل شده است: گره‌ها (vertices) و یال‌ها (edges). یک گراف G به صورت G = (V, E) تعریف می‌شود که در آن V مجموعه گره‌ها و E یال‌های بین آن‌ها هستند. اگر وابستگی‌های جهت‌داری بین گره‌ها وجود داشته باشد، یال‌ها جهت‌دار هستند و در غیر این صورت بی‌جهت خواهند بود.

گراف‌ها اغلب با استفاده از ماتریس مجاورت (Adjacency Matrix) نمایش داده می‌شوند. اگر گرافی n گره داشته باشد، ماتریس مجاورت A دارای ابعاد (n × n) خواهد بود که عنصر A(i,j) نشان‌دهنده وجود یا عدم وجود یال بین گره‌های i و j است.

تعریف شبکه عصبی گرافی

شبکه‌های عصبی گرافی انواع خاصی از شبکه‌های عصبی هستند که قادر به کار با ساختار داده گراف می‌باشند. این شبکه‌ها تحت تأثیر زیاد شبکه‌های عصبی کانولوشنی و تعبیه‌سازی گراف قرار دارند و برای پیش‌بینی وظایف مبتنی بر گره‌ها، یال‌ها و گراف‌ها مورد استفاده قرار می‌گیرند.

GNN یک تبدیل بهینه‌سازی‌شدنی بر روی تمام ویژگی‌های گراف شامل گره‌ها، یال‌ها و زمینه سراسری است که تقارن‌های گراف را حفظ می‌کند. معماری “گراف-ورودی، گراف-خروجی” به این معنی است که این مدل‌ها یک گراف را به عنوان ورودی دریافت کرده و آن را بدون تغییر در اتصالات، تبدیل می‌کنند.

معماری‌های اصلی GNN

شبکه‌های کانولوشنال گرافی (GCN)

شبکه‌های کانولوشنال گرافی ایده کانولوشن را از داده‌های شبکه‌ای به گراف‌ها گسترش می‌دهند و نمایش یک گره را با جمع‌آوری ویژگی‌های همسایگانش به‌روزرسانی می‌کنند. این معماری اطلاعات محلی و سراسری گراف را از طریق لایه‌های چندگانه به دست می‌آورد و به طور گسترده برای وظایف نیمه‌نظارتی مانند طبقه‌بندی گره‌ها استفاده می‌شود.

در GCN، به‌روزرسانی ویژگی‌های هر گره بر اساس میانگین وزن‌دار ویژگی‌های همسایگانش انجام می‌شود. فرمول کلی به شکل زیر است:

H^(l+1) = σ(D^(-1/2) A D^(-1/2) H^(l) W^(l))

که در آن H نمایش ویژگی‌ها، A ماتریس مجاورت، D ماتریس درجه، W ماتریس وزن و σ تابع فعال‌سازی است.

شبکه‌های توجه گرافی (GAT)

شبکه‌های توجه گرافی مکانیزم توجه را در حین انتقال پیام معرفی می‌کنند و وزن‌های اهمیت متفاوتی را به گره‌های همسایه بر اساس ارتباط آن‌ها اختصاص می‌دهند. این معماری در رسیدگی به گراف‌هایی با الگوهای اتصال نامنظم یا پیچیده بهتر عمل می‌کند.

GAT امکان می‌دهد که مدل به طور خودکار یاد بگیرد کدام همسایه‌ها مهم‌تر هستند و باید وزن بیشتری در محاسبات داشته باشند. این ویژگی باعث می‌شود مدل انعطاف‌پذیرتر و قدرتمندتر باشد.

شبکه‌های عصبی انتقال پیام (MPNN)

در چارچوب شبکه‌های عصبی انتقال پیام، گره‌های همسایه پیام‌ها را با یکدیگر مبادله کرده و از طریق تبادل اطلاعات، نمایش خود را به‌روزرسانی می‌کنند. این فرآیند شامل سه مرحله اساسی است:

1. جمع‌آوری پیام‌ها: برای هر گره در گراف، تمام نمایش‌های گره‌های همسایه جمع‌آوری می‌شوند
2. تجمیع: تمام پیام‌ها از طریق یک تابع تجمیع مانند sum، average یا max تجمیع می‌شوند
3. به‌روزرسانی: پیام‌های تجمیع‌شده از طریق یک تابع به‌روزرسانی، معمولاً یک شبکه عصبی یادگیرفته‌شده، پردازش می‌شوند

انواع وظایف در GNN

طبقه‌بندی گره‌ها (Node Classification)

در طبقه‌بندی گره‌ها، از برچسب‌های گره‌های همسایه برای پیش‌بینی برچسب‌های گره‌های مفقود استفاده می‌شود. این نوع وظیفه در شبکه‌های اجتماعی برای پیش‌بینی ویژگی‌های کاربران، در شبکه‌های استنادی برای طبقه‌بندی مقالات، و در بسیاری از کاربردهای دیگر استفاده می‌شود.

مثال معروف برای این وظیفه، دیتاست Cora است که شامل ۲۷۰۸ مقاله علمی و ۱۰۵۵۶ ارجاع است. هدف طبقه‌بندی هر مقاله در یکی از هفت دسته موضوعی است.

طبقه‌بندی گراف (Graph Classification)

در طبقه‌بندی گراف، از این روش برای طبقه‌بندی گراف‌ها در دسته‌های مختلف استفاده می‌شود. رایج‌ترین وظیفه برای طبقه‌بندی گراف، پیش‌بینی ویژگی‌های مولکولی است که در آن مولکول‌ها به صورت گراف نمایش داده می‌شوند. هر اتم به یک گره مرتبط است و یال‌های گراف نشان‌دهنده پیوندهای بین اتم‌ها هستند.

پیش‌بینی لینک (Link Prediction)

پیش‌بینی لینک به معنای تشخیص احتمال وجود یا ایجاد یال بین دو گره است. این وظیفه در سیستم‌های توصیه‌گر، پیش‌بینی تعاملات دارویی و تکمیل گراف‌های دانش کاربرد دارد.

آموزش GNN با PyTorch Geometric

نصب و راه‌اندازی محیط

برای شروع کار با GNN در پایتون، نیاز به نصب PyTorch Geometric داریم که یک کتابخانه قدرتمند برای یادگیری عمیق هندسی است:

pip install torch-geometric
pip install torch-scatter torch-sparse

PyTorch Geometric کتابخانه‌ای است که بر روی PyTorch ساخته شده تا نوشتن و آموزش شبکه‌های عصبی گرافی را برای طیف گسترده‌ای از کاربردهای مرتبط با داده‌های ساختاری آسان کند.

بارگذاری و آماده‌سازی داده

برای شروع، دیتاست Cora را بارگذاری می‌کنیم:

import torch
from torch_geometric.datasets import Planetoid
from torch_geometric.transforms import NormalizeFeatures

# بارگذاری دیتاست Cora
dataset = Planetoid(root='data/Planetoid', 
                    name='Cora',
                    transform=NormalizeFeatures())

# بررسی اطلاعات دیتاست
print(f'تعداد گراف‌ها: {len(dataset)}')
print(f'تعداد ویژگی‌ها: {dataset.num_features}')
print(f'تعداد کلاس‌ها: {dataset.num_classes}')

# دسترسی به داده
data = dataset[0]
print(f'تعداد گره‌ها: {data.num_nodes}')
print(f'تعداد یال‌ها: {data.num_edges}')

ساخت مدل GNN

مدل از دو لایه شبکه کانولوشنال گرافی تشکیل شده است که هر کدام با تابع فعال‌سازی ReLU و dropout برای منظم‌سازی دنبال می‌شوند:

import torch.nn.functional as F
from torch_geometric.nn import GCNConv

class GCN(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(GCN, self).__init__()
        self.conv1 = GCNConv(dataset.num_features, hidden_channels)
        self.conv2 = GCNConv(hidden_channels, dataset.num_classes)
        
    def forward(self, x, edge_index):
        # لایه اول + فعال‌سازی + dropout
        x = self.conv1(x, edge_index)
        x = F.relu(x)
        x = F.dropout(x, p=0.5, training=self.training)
        
        # لایه دوم
        x = self.conv2(x, edge_index)
        return F.log_softmax(x, dim=1)

# ایجاد مدل
model = GCN(hidden_channels=16)
optimizer = torch.optim.Adam(model.parameters(), 
                             lr=0.01, 
                             weight_decay=5e-4)

فرآیند آموزش

def train():
    model.train()
    optimizer.zero_grad()
    
    # پیش‌بینی
    out = model(data.x, data.edge_index)
    
    # محاسبه loss فقط برای گره‌های train
    loss = F.nll_loss(out[data.train_mask], 
                      data.y[data.train_mask])
    
    # پس‌انتشار و به‌روزرسانی
    loss.backward()
    optimizer.step()
    
    return loss.item()

def test():
    model.eval()
    with torch.no_grad():
        out = model(data.x, data.edge_index)
        pred = out.argmax(dim=1)
        
        # محاسبه دقت برای train و test
        train_correct = pred[data.train_mask] == data.y[data.train_mask]
        train_acc = int(train_correct.sum()) / int(data.train_mask.sum())
        
        test_correct = pred[data.test_mask] == data.y[data.test_mask]
        test_acc = int(test_correct.sum()) / int(data.test_mask.sum())
        
    return train_acc, test_acc

# حلقه آموزش
for epoch in range(1, 201):
    loss = train()
    
    if epoch % 20 == 0:
        train_acc, test_acc = test()
        print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}, '
              f'Train Acc: {train_acc:.4f}, Test Acc: {test_acc:.4f}')

کاربردهای واقعی GNN

تحلیل شبکه‌های اجتماعی

شبکه‌های عصبی گرافی در شبکه‌های اجتماعی برای تشخیص جامعه، پیش‌بینی پیوند و تحلیل احساسات استفاده می‌شوند. در پلتفرم‌هایی مانند فیس‌بوک و توییتر، GNN می‌تواند رفتار کاربران را نه تنها بر اساس پروفایل آن‌ها، بلکه بر اساس فعالیت‌ها و دایره دوستان‌شان پیش‌بینی کند.

کشف دارو و شیمی

GNN در کشف دارو و ترکیبات شیمیایی نقش مهمی ایفا می‌کند و با استفاده از ساختار گرافی مولکول‌ها، الگوهای پیچیده را در داده‌های شیمیایی کشف می‌کند. این تکنولوژی می‌تواند به کشف ترکیبات جدید و مؤثرتر برای درمان بیماری‌های مختلف کمک کند و سرعت و دقت فرآیند کشف دارو را افزایش دهد.

پیش‌بینی ترافیک

GNN در پیش‌بینی ترافیک از داده‌های ساختاری و غیرساختاری شبکه‌های راهی استفاده می‌کند تا الگوهای پیچیده تغییرات جریان ترافیک را شناسایی کند. در این کاربرد، گره‌ها می‌توانند نقاط مختلف شبکه راهی مانند تقاطع‌ها را نشان دهند، در حالی که یال‌ها جاده‌ها و مسیرهای ارتباطی را نمایش می‌دهند.

سیستم‌های توصیه‌گر

GNN در توسعه سیستم‌های توصیه‌گر بر اساس روابط اجتماعی و روابط آیتم‌ها استفاده می‌شود. این شبکه‌ها می‌توانند الگوهای پیچیده تعاملات بین کاربران و محصولات را یاد بگیرند و توصیه‌های شخصی‌سازی‌شده‌تری ارائه دهند.

چالش‌ها و محدودیت‌های GNN

هزینه محاسباتی بالا

گراف‌های بزرگ می‌توانند به بیش از ۲۰۰ هزار گره برسند که در این حالت پیاده‌سازی‌های مبتنی بر ماتریس مجاورت شکست می‌خورند. برای حل این مشکل، روش‌های نمونه‌برداری و پردازش دسته‌ای ارائه شده‌اند.

مشکل Over-smoothing

هنگامی که لایه‌های زیادی از GNN روی هم انباشته می‌شوند، ویژگی‌های گره‌ها غیرقابل تشخیص می‌شوند. این به این معنی است که پس از تعدادی لایه، تمام گره‌ها نمایش‌های مشابهی پیدا می‌کنند و تمایز بین آن‌ها از بین می‌رود.

چالش‌های مقیاس‌پذیری

آموزش بر روی گراف‌های بسیار بزرگ یا پویا بدون تکنیک‌های تخصصی دشوار است. روش‌هایی مانند Mini-batch training، GraphSAINT و Cluster-GCN برای غلبه بر این چالش توسعه یافته‌اند.

بهینه‌سازی و تکنیک‌های پیشرفته

تنظیم هایپرپارامترها

برای بهبود عملکرد مدل GNN، باید پارامترهای مختلفی را تنظیم کنیم:

• تعداد لایه‌ها: معمولاً ۲ تا ۴ لایه برای اکثر کاربردها مناسب است
• ابعاد پنهان: بین ۱۶ تا ۲۵۶ بسته به پیچیدگی مسئله
• نرخ یادگیری: معمولاً بین ۰.۰۰۱ تا ۰.۰۱
• Dropout rate: بین ۰.۳ تا ۰.۶ برای جلوگیری از overfitting

استفاده از Attention Mechanisms

استفاده از مکانیزم‌های توجه می‌تواند به مدل کمک کند تا بفهمد کدام همسایه‌ها مهم‌تر هستند. GAT به جای استفاده از میانگین ساده، وزن‌های آموخته‌شده را برای هر همسایه محاسبه می‌کند.

Residual Connections

افزودن اتصالات باقی‌مانده (residual connections) می‌تواند به حل مشکل over-smoothing کمک کند و امکان آموزش شبکه‌های عمیق‌تر را فراهم می‌آورد.

ابزارها و کتابخانه‌های مفید

PyTorch Geometric

فریم‌ورک‌های GNN بسته‌های پایتون آسان برای استفاده هستند که بلوک‌های سازنده را برای ساخت GNN بر روی فریم‌ورک‌های یادگیری عمیق موجود ارائه می‌دهند. PyTorch Geometric یکی از محبوب‌ترین این کتابخانه‌ها است که عملکرد بهینه‌شده برای GPU و پشتیبانی از مدل‌های متنوع را ارائه می‌دهد.

Deep Graph Library (DGL)

DGL یک کتابخانه مقیاس‌پذیر و آسان برای استفاده برای پیاده‌سازی و آموزش GNN است. این کتابخانه مستقل از فریم‌ورک است و می‌تواند با PyTorch، TensorFlow و MXNet استفاده شود.

NetworkX

برای تجسم و تحلیل اولیه گراف‌ها، NetworkX یک کتابخانه عالی پایتون است که امکان ایجاد، دستکاری و مطالعه ساختار شبکه‌های پیچیده را فراهم می‌کند.

نتیجه‌گیری

شبکه‌های عصبی گرافی به عنوان یکی از مهم‌ترین پیشرفت‌های اخیر در یادگیری عمیق، دریچه‌های جدیدی را برای تحلیل و پردازش داده‌های ساختاری باز کرده‌اند.

آموزش GNN با استفاده از ابزارهایی مانند PyTorch Geometric امکان پیاده‌سازی سریع و کارآمد این مدل‌ها را فراهم می‌کند. با درک صحیح از مفاهیم پایه، معماری‌های مختلف و چالش‌های موجود، می‌توان مدل‌های قدرتمندی برای وظایف متنوع طراحی کرد.

در آینده، با پیشرفت روش‌های بهینه‌سازی، معماری‌های جدید و افزایش قدرت محاسباتی، انتظار می‌رود GNN‌ها نقش بیشتری در کاربردهای صنعتی و تحقیقاتی ایفا کنند. یادگیری و تسلط بر این تکنولوژی می‌تواند فرصت‌های شغلی جدیدی را برای متخصصان حوزه هوش مصنوعی و یادگیری ماشین فراهم کند.