Backpropagation

সহজ ভাষায়

Network শেখে তিন ধাপে, বারবার:

1. Forward:   input ──► prediction
2. Loss:      prediction আর আসল উত্তর কতটা দূরে?
3. Backward:  প্রতিটা weight কোন দিকে সরালে loss কমবে? সেদিকে একটু সরাও
              └─────────────── আবার ১ ───────────────┘

তৃতীয় ধাপের প্রশ্ন — "প্রতিটা weight কোন দিকে?" — উত্তর দেয় gradient, আর সেটা হিসাব করার পদ্ধতির নাম backpropagation।

কেন দরকার?

এটাই deep learning-এর ইঞ্জিন। ১৯৮৬-এ Rumelhart, Hinton আর Williams দেখালেন backprop দিয়ে বহু-layer network train করা যায় — perceptron-এর XOR সমস্যার সমাধান। আজ PyTorch-এর loss.backward() এক লাইনে এটা করে — কিন্তু ভেতরে কী হয় না জানলে training-এর সমস্যা (loss nan, শেখে না, vanishing gradient) debug করা অসম্ভব।

Gradient: ঢাল

একটা weight $w$ আর loss $L(w)$। Derivative $\frac{dL}{dw}$ বলে: $w$ সামান্য বাড়ালে $L$ কতটা বদলায়।

• $\frac{dL}{dw} > 0$ → $w$ বাড়ালে loss বাড়ে → $w$ কমাও
• $\frac{dL}{dw} < 0$ → $w$ বাড়ালে loss কমে → $w$ বাড়াও

তাই সবসময় ঢালের উল্টো দিকে:

$$w \leftarrow w - \eta \, \frac{\partial L}{\partial w}$$

এটাই gradient descent — কুয়াশায় ঢাকা পাহাড় থেকে নামা: চারপাশ দেখা যায় না, কিন্তু পায়ের নিচের ঢাল বোঝা যায় — সেই ঢাল ধরে নিচে নামো।

Numerical gradient: যাচাইয়ের অস্ত্র

যেকোনো function-এর ঢাল সংখ্যা দিয়ে অনুমান করা যায় — দুই পাশে সামান্য সরে দেখো:

$$\frac{df}{dx} \approx \frac{f(x + h) - f(x - h)}{2h}$$

সহজ, কিন্তু প্রতিটা weight-এর জন্য দুটো আলাদা forward pass লাগে। ১০ লাখ weight-এ ২০ লাখ forward pass — অসম্ভব ধীর। তাই training-এ backprop, আর backprop ঠিক আছে কিনা যাচাইয়ে (gradient check) numerical gradient।

Chain rule: backprop-এর হৃদয়

একটা neuron: $z = w \cdot x + b$, $p = \sigma(z)$, $L = \text{BCE}(y, p)$। আমরা চাই $\frac{\partial L}{\partial w}$। এটা একটা শিকল:

$$\frac{\partial L}{\partial w} = \frac{\partial L}{\partial p} \cdot \frac{\partial p}{\partial z} \cdot \frac{\partial z}{\partial w}$$

প্রতিটা টুকরো আলাদাভাবে সহজ। আর sigmoid + cross-entropy একসাথে নিলে একটা সুন্দর সরলীকরণ হয়:

$$\frac{\partial L}{\partial z} = p - y$$

অর্থাৎ ভুল = prediction − আসল। তারপর:

$$\frac{\partial L}{\partial w} = \frac{1}{n} X^\top (p - y), \qquad \frac{\partial L}{\partial b} = \frac{1}{n}\sum (p - y)$$

forward:   X ──► z = Xw + b ──► p = σ(z) ──► L
backward:  dw = Xᵀ·dz/n ◄── dz = p − y ◄────── শুরু

চলো numerical gradient দিয়ে যাচাই করি যে এই সূত্রগুলো ঠিক:

দুটো প্রায় হুবহু এক। গভীর network-এ একই chain rule layer-এর পর layer উল্টো দিকে চলতে থাকে — তাই নাম backpropagation।

Exercise

Exercise

Numerical gradient

+20 XP

যেকোনো function-এর ঢাল (derivative) সংখ্যা দিয়ে অনুমান করা যায়:

f'(x) ≈ ( f(x + h) − f(x − h) ) ÷ 2h, যেখানে h খুব ছোট (যেমন 1e-5)

numerical_grad(f, x, h=1e-5) লেখো। তারপর f(x) = x³ − 2x-এর জন্য x = 2-তে ঢাল slope-এ রাখো। (আসল উত্তর 3x² − 2 = 10 — কাছাকাছি আসা উচিত।)

solution.pyশুধু RunSubmit

def numerical_grad(f, x, h=1e-5): pass def f(x): return x ** 3 - 2 * x slope = None print(slope)

Hint দেখাওSolution দেখো

Quiz

1. Q1Gradient কী বলে?

   Loss কতপ্রতিটা weight সামান্য বাড়ালে loss কতটা আর কোন দিকে বদলায় — তাই weight-কে gradient-এর উল্টো দিকে সরালে loss কমেModel কত বড়
2. Q2Backpropagation-এ 'back' কেন?

   এটা পুরনো পদ্ধতিChain rule দিয়ে gradient output থেকে শুরু করে layer-এর পর layer উল্টো দিকে input-এর দিকে হিসাব হয় — প্রতিটা layer পরের layer-এর gradient ব্যবহার করেData উল্টো ক্রমে দেওয়া হয়
3. Q3Numerical gradient থাকতে backpropagation কেন লাগে?

   Numerical gradient ভুলNumerical gradient প্রতিটা weight-এর জন্য আলাদা দুটো forward pass চায় — কোটি weight-এ অসম্ভব ধীর। Backprop একবারে সব দেয়; numerical gradient শুধু যাচাইয়ের (gradient check) জন্য

0/3 answeredউত্তর যাচাই করো →

Challenge

Challenge

একটা neuron gradient descent দিয়ে train করো

+50 XP

Logistic neuron: p = sigmoid(X · w + b), loss = binary cross-entropy।

Backpropagation-এর ফলাফল (chain rule দিয়ে বের করা, lesson-এ ব্যাখ্যা আছে): - dz = p − y - dw = Xᵀ · dz ÷ n - db = mean(dz)

train(X, y, lr=0.5, steps=500) লেখো: w শূন্য (shape: feature সংখ্যা), b = 0 দিয়ে শুরু; প্রতি step-এ forward → gradient → w ← w − lr·dw, b ← b − lr·db। Return (w, b, losses) — losses প্রতিটা step-এর loss-এর list (update-এর আগের loss)।

solution.pyশুধু RunSubmit

import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) def bce(y, p): p = np.clip(p, 1e-12, 1 - 1e-12) return float(-np.mean(y * np.log(p) + (1 - y) * np.log(1 - p))) def train(X, y, lr=0.5, steps=500): pass rng = np.random.default_rng(0) X = rng.normal(size=(200, 2)) y = (X[:, 0] + 2 * X[:, 1] > 0).astype(float) w, b, losses = train(X, y) print(w, b, losses[0], losses[-1])

Hint দেখাওSolution দেখো

বাস্তবে কোথায় ব্যবহার হয়?

Challenge-এ যা লিখলে — forward, loss, backward, update — PyTorch-এ এর প্রতিটা ধাপের নিজস্ব লাইন:

import torch

model = torch.nn.Sequential(torch.nn.Linear(2, 1), torch.nn.Sigmoid())
optimizer = torch.optim.SGD(model.parameters(), lr=0.5)
loss_fn = torch.nn.BCELoss()

for step in range(500):
    p = model(X).squeeze()        # 1. forward
    loss = loss_fn(p, y)          # 2. loss
    optimizer.zero_grad()
    loss.backward()               # 3. backward — সব gradient নিজে থেকে (autograd)
    optimizer.step()              # 4. update: w ← w − lr · grad

loss.backward() হলো তোমার dz = p − y, dw = Xᵀ·dz/n — শুধু যেকোনো জটিল network-এর জন্য নিজে থেকে (autograd)। এই চার লাইনের loop-টা — GPT train করা থেকে শুরু করে image classifier পর্যন্ত — প্রায় সব deep learning code-এর হৃদয়।

Interview প্রশ্ন

• Beginner: Gradient descent কী? Learning rate কী করে?
• Intermediate: Backpropagation কী? Chain rule-এর ভূমিকা কী?
• Advanced: Sigmoid + cross-entropy-তে gradient কেন p − y হয়ে যায়? Gradient check কীভাবে করবে আর কেন training-এ ব্যবহার করবে না?

এরপর কী?

🎉 Neural Network-এর ভিত্তি module শেষ — neuron, activation, forward pass আর backpropagation। তুমি এখন জানো একটা neural network ভেতরে আসলে কী করে।

পরের module: Network train করা — বিভিন্ন loss আর optimizer (Adam), পূর্ণ training loop, overfitting আটকানো (dropout), আর PyTorch-এ এই সবকিছু।