গ্র্যাডিয়েন্ট ডিসেন্ট

মূল সূত্র

η (learning rate) — পদক্ষেপ কতটা বড়। বেশি হলে overshoot, কম হলে চিরকাল লাগবে।

তিন ধরনের Gradient Descent

১. Batch Gradient Descent

সম্পূর্ণ dataset দেখে একবার weight update। সঠিক gradient, কিন্তু বড় dataset-এ ধীর।

২. Stochastic Gradient Descent (SGD)

প্রতি sample-এ একবার update। দ্রুত কিন্তু noisy।

৩. Mini-Batch Gradient Descent

৩২ বা ৬৪ sample-এর batch-এ update। সবার সেরা balance — practice-এ এটাই ব্যবহৃত।

Optimizer-দের পরিবার

Learning Rate — সবচেয়ে গুরুত্বপূর্ণ hyperparameter

PyTorch-এ Optimizer

import torch
import torch.nn as nn

model = nn.Linear(10, 1)
loss_fn = nn.MSELoss()

# SGD with momentum
opt = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Adam (default পছন্দ)
opt = torch.optim.Adam(model.parameters(), lr=1e-3)

# Training step
x = torch.randn(32, 10)
y = torch.randn(32, 1)

pred = model(x)
loss = loss_fn(pred, y)

opt.zero_grad()    # পুরনো gradient মুছে ফেলুন
loss.backward()    # নতুন gradient হিসাব করুন
opt.step()         # weight update

Learning Rate Scheduler

scheduler = torch.optim.lr_scheduler.StepLR(opt, step_size=10, gamma=0.5)

for epoch in range(50):
    train_one_epoch(...)
    scheduler.step()    # প্রতি 10 epoch-এ lr অর্ধেক

Visualization — কেমন দেখায়

import numpy as np
import matplotlib.pyplot as plt

# f(w) = (w - 3)^2 কে minimize
w = -5.0
lr = 0.1
history = [w]

for _ in range(50):
    grad = 2 * (w - 3)
    w -= lr * grad
    history.append(w)

ws = np.linspace(-6, 8, 100)
plt.plot(ws, (ws - 3)**2)
plt.plot(history, [(h-3)**2 for h in history], "o-", color="red")
plt.title("Gradient Descent path"); plt.show()

Local Minima ও Saddle Point

Loss landscape-এ অনেক "গর্ত" থাকে। কখনো মডেল একটি local minimum-এ আটকে যায় — সেটাই সেরা না। Momentum, Adam-এর মতো optimizer এই সমস্যা কাটিয়ে উঠতে সাহায্য করে।

সাধারণ ভুল ধারণা

অনুশীলন

মিনি প্রজেক্ট

ইন্টারভিউ প্রশ্ন

1. SGD, Mini-Batch, Batch GD-এর পার্থক্য।
2. Momentum কীভাবে কাজ করে?
3. Adam vs SGD — কখন কোনটা?
4. Learning rate বেশি/কম হলে কী হয়?
5. Local minima থেকে বের হওয়ার কৌশল।

সারসংক্ষেপ