অ্যাক্টিভেশন ফাংশন

Activation Function কী?

প্রতিটি নিউরনের আউটপুটে বসানো একটি function — যা non-linearity যোগ করে। এটাই মডেলকে complex pattern শিখতে সাহায্য করে।

জনপ্রিয় Activation Functions

১. Sigmoid

Output 0 থেকে 1-এর মধ্যে। Binary classification-এর শেষ layer-এ ব্যবহৃত। সমস্যা — gradient খুব ছোট হয়ে যায় ("vanishing gradient")।

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

২. Tanh

Output -1 থেকে 1। Sigmoid-এর চেয়ে ভালো (zero-centered), কিন্তু vanishing gradient সমস্যা থেকেই যায়।

৩. ReLU — সবচেয়ে জনপ্রিয়

খুব সরল — negative হলে 0, positive হলে অপরিবর্তিত। দ্রুত compute হয়, vanishing gradient সমস্যা নেই। বর্তমানে hidden layer-এর জন্য default পছন্দ।

def relu(x):
    return np.maximum(0, x)

৪. Leaky ReLU

ReLU-এর "dying ReLU" সমস্যা সমাধান করে — negative side-এ একটু gradient রাখে।

৫. Softmax — multi-class output

Multi-class classification-এর শেষ layer। সব output-এর যোগফল 1 — probability distribution।

def softmax(z):
    e = np.exp(z - np.max(z))
    return e / e.sum()

তুলনা — কোনটা কখন?

Visualization — সব একসাথে

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-5, 5, 200)

plt.plot(x, 1/(1+np.exp(-x)), label="Sigmoid")
plt.plot(x, np.tanh(x), label="Tanh")
plt.plot(x, np.maximum(0, x), label="ReLU")
plt.plot(x, np.where(x>0, x, 0.01*x), label="Leaky ReLU")
plt.legend(); plt.grid(True); plt.show()

সাধারণ ভুল ধারণা

অনুশীলন

মিনি প্রজেক্ট

ইন্টারভিউ প্রশ্ন

1. Activation function কেন non-linear হতে হয়?
2. Vanishing gradient সমস্যা কী?
3. ReLU-এর সুবিধা ও অসুবিধা।
4. Sigmoid ও Softmax-এর পার্থক্য।

সারসংক্ষেপ