ফরোয়ার্ড প্রোপাগেশন

একটি Layer-এর গণিত

এখানে W হলো weight matrix, x input, b bias,f activation function, এবং a এই layer-এর output (যা পরের layer-এর input)।

একটি ২-Layer নেটওয়ার্ক

Input (3)  →  Hidden Layer (4)  →  Output Layer (2)
                  W₁: (3, 4)             W₂: (4, 2)
                  ReLU                    Softmax

import numpy as np

# Input
x = np.array([0.5, 0.2, 0.9])

# Layer 1 (3 -> 4)
W1 = np.random.randn(3, 4) * 0.1
b1 = np.zeros(4)

# Layer 2 (4 -> 2)
W2 = np.random.randn(4, 2) * 0.1
b2 = np.zeros(2)

def relu(z): return np.maximum(0, z)
def softmax(z):
    e = np.exp(z - np.max(z))
    return e / e.sum()

# Forward pass
z1 = x @ W1 + b1     # shape (4,)
a1 = relu(z1)

z2 = a1 @ W2 + b2    # shape (2,)
a2 = softmax(z2)     # probability output

print("Output probabilities:", a2)

Batch Processing

একবারে একটি input না, একসাথে অনেকগুলো (যেমন ৩২টি ছবি) — এটাই batch। GPU-তে এটা অনেক দ্রুত।

# 32 input একসাথে
X = np.random.randn(32, 3)        # (batch, features)
Z1 = X @ W1 + b1                  # (32, 4)
A1 = relu(Z1)
Z2 = A1 @ W2 + b2                 # (32, 2)
# softmax row-wise
A2 = np.exp(Z2) / np.exp(Z2).sum(axis=1, keepdims=True)

একটি Class-ভিত্তিক MLP

class MLP:
    def __init__(self, sizes):
        self.W = [np.random.randn(a, b) * 0.1 for a, b in zip(sizes, sizes[1:])]
        self.b = [np.zeros(s) for s in sizes[1:]]

    def forward(self, X):
        A = X
        for i, (W, b) in enumerate(zip(self.W, self.b)):
            Z = A @ W + b
            A = relu(Z) if i < len(self.W) - 1 else softmax(Z)
        return A

net = MLP([784, 128, 64, 10])    # MNIST-like
X = np.random.randn(5, 784)
print(net.forward(X).shape)       # (5, 10)

সাধারণ ভুল ধারণা

অনুশীলন

মিনি প্রজেক্ট

ইন্টারভিউ প্রশ্ন

1. Forward propagation কী?
2. Weight matrix-এর shape কীভাবে ঠিক করেন?
3. Batch processing-এর সুবিধা কী?

সারসংক্ষেপ