Deep Learning/Neural Network-এর ভিত্তি/Lesson 02

Activation functions

Step-এর বদলে মসৃণ function কেন — sigmoid, tanh, ReLU, Leaky ReLU আর তাদের derivative; আর সবচেয়ে গুরুত্বপূর্ণ প্রমাণ — activation ছাড়া যত layer-ই দাও, পুরো network একটা সরলরেখাই থাকে।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Perceptron-এর শেষে step function — হঠাৎ 0 থেকে 1 লাফ। সমস্যা: weight সামান্য বদলালে output প্রায় কখনো বদলায় না, তাই "কোন দিকে সরলে ভালো হবে" বোঝার উপায় নেই। Activation function হলো এর মসৃণ বিকল্প:

a = g(z), \qquad z = w \cdot x + b

প্রতিটা neuron আগে $z$ (weighted sum) হিসাব করে, তারপর $g$ দিয়ে বাঁকায়।

main.py

import numpy as np
import matplotlib.pyplot as plt

z = np.linspace(-4, 4, 300)
functions = {
    "step": (z > 0).astype(float),
    "sigmoid": 1 / (1 + np.exp(-z)),
    "tanh": np.tanh(z),
    "ReLU": np.maximum(0, z),
}

fig, axes = plt.subplots(1, 4, figsize=(12, 2.8), layout="constrained", sharey=True)
for ax, (name, a) in zip(axes, functions.items()):
    ax.plot(z, a, color="#059669")
    ax.axhline(0, color="gray", linewidth=0.5)
    ax.set_title(name)
    ax.set_ylim(-1.3, 3)

কেন দরকার?

দুটো কারণে, দ্বিতীয়টা বেশি গুরুত্বপূর্ণ:

মসৃণ — derivative (ঢাল) আছে, তাই gradient descent দিয়ে শেখা যায়
Non-linear — activation ছাড়া যত layer-ই জোড়া লাগাও, পুরো network একটা সরলরেখা (linear function)-ই থাকে। Challenge-এ এটা নিজে প্রমাণ করবে।

প্রধান activation-গুলো

Function	সূত্র	পরিসর	কোথায়
Sigmoid	$\frac{1}{1+e^{-z}}$	0 থেকে 1	Binary output (probability)
Tanh	$\tanh(z)$	−1 থেকে 1	পুরনো RNN
ReLU	$\max(0, z)$	0 থেকে ∞	Hidden layer-এর default
Leaky ReLU	$z$ বা $\alpha z$	−∞ থেকে ∞	ReLU-র "মৃত neuron" সমস্যা এড়াতে
Softmax	$\frac{e^{z_k}}{\sum_j e^{z_j}}$	probability vector	Multi-class output

Derivative কেন গুরুত্বপূর্ণ

Training-এর সময় প্রতিটা layer-এর derivative গুণ হয় (backpropagation — এই module-এর শেষ lesson)। তাই activation-এর derivative কেমন, সেটা ঠিক করে network শিখতে পারবে কিনা:

main.py

import numpy as np

z = np.array([-6.0, -2.0, 0.0, 2.0, 6.0])
s = 1 / (1 + np.exp(-z))

print("sigmoid'(z):", (s * (1 - s)).round(4))
print("ReLU'(z):   ", (z > 0).astype(float))
print("২০ layer sigmoid (সর্বোচ্চ):", 0.25 ** 20)

Sigmoid-এর derivative কখনো 0.25-এর বেশি না, আর বড় $|z|$ -এ প্রায় 0। ২০টা layer-এ গুণ করলে প্রায় শূন্য — প্রথম দিকের layer-গুলো প্রায় কিছুই শেখে না। একে বলে vanishing gradient। ReLU-র derivative positive দিকে সবসময় 1 — তাই ২০১০-এর দশকে ReLU আসার পর গভীর network train করা হঠাৎ সম্ভব হয়ে গেল।

Activation ছাড়া network = একটা line

দুটো layer, মাঝে activation নেই:

y = (x W_1 + b_1) W_2 + b_2 = x \underbrace{(W_1 W_2)}_{W} + \underbrace{(b_1 W_2 + b_2)}_{b}

দুই layer মিলে একটাই linear layer! ১০০টা layer হলেও একই — সব গুণফল মিলে একটা matrix। Activation (non-linearity) না থাকলে "deep" network আসলে একটা সাধারণ linear regression। Challenge-এ code দিয়ে এটা প্রমাণ করবে।

Exercise

Activation function লেখো

+20 XP

তিনটা function লেখো — সবগুলো NumPy array নেবে, একই shape-এর array দেবে, loop ছাড়া:

relu(z) — negative হলে 0, নাহলে z
leaky_relu(z, alpha=0.01) — negative হলে alpha·z, নাহলে z
sigmoid_grad(z) — sigmoid-এর derivative: σ(z)·(1 − σ(z)), যেখানে σ(z) = 1 / (1 + e^(−z))

solution.py

import numpy as np


def relu(z):
    pass


def leaky_relu(z, alpha=0.01):
    pass


def sigmoid_grad(z):
    pass


z = np.array([-2.0, -0.5, 0.0, 0.5, 2.0])
print(relu(z), leaky_relu(z), sigmoid_grad(z))

Quiz

Q1Hidden layer-এ সবচেয়ে বেশি ব্যবহৃত activation কোনটা?
Step functionReLUকোনো activation লাগে না
Q2Sigmoid-এর derivative-এর সর্বোচ্চ মান 0.25। ২০টা sigmoid layer-এর gradient গুণ করলে কী হয়?
বেড়ে যায়প্রায় শূন্য হয়ে যায় (0.25²⁰) — প্রথম দিকের layer প্রায় শেখেই না: vanishing gradientএকই থাকে
Q3Binary classification-এর শেষ layer-এ কোন activation?
ReLUSigmoid — output 0 থেকে 1, তাই probability হিসেবে পড়া যায়কিছুই না

0/3 answered

Challenge

প্রমাণ: activation ছাড়া network একটা line

+50 XP

দুটো linear layer, মাঝে কোনো activation নেই:

h = x · W1 + b1, y = h · W2 + b2

collapse(W1, b1, W2, b2) লেখো যেটা একটাই (W, b) return করে, যাতে x · W + b হুবহু একই output দেয়। (সূত্র নিজে বের করো — h-এর মান y-এর সমীকরণে বসাও।)

তারপর test দেখাবে যে মাঝে ReLU দিলে এমন কোনো একক (W, b) আর কাজ করে না।

solution.py

import numpy as np


def collapse(W1, b1, W2, b2):
    pass


rng = np.random.default_rng(0)
W1, b1 = rng.normal(size=(3, 4)), rng.normal(size=4)
W2, b2 = rng.normal(size=(4, 2)), rng.normal(size=2)
W, b = collapse(W1, b1, W2, b2)
x = rng.normal(size=(5, 3))
print(np.allclose((x @ W1 + b1) @ W2 + b2, x @ W + b))

বাস্তবে কোথায় ব্যবহার হয়?

আধুনিক LLM-গুলো ReLU-র আরও মসৃণ রূপ ব্যবহার করে — GELU (GPT, BERT) আর SiLU/Swish (Llama-র মতো model):

main.py

import numpy as np
import matplotlib.pyplot as plt

z = np.linspace(-4, 4, 300)
gelu = 0.5 * z * (1 + np.tanh(np.sqrt(2 / np.pi) * (z + 0.044715 * z ** 3)))
silu = z / (1 + np.exp(-z))

fig, ax = plt.subplots()
ax.plot(z, np.maximum(0, z), label="ReLU", linestyle="--", color="#64748b")
ax.plot(z, gelu, label="GELU (GPT, BERT)", color="#059669")
ax.plot(z, silu, label="SiLU (Llama-style)", color="#0f172a")
ax.legend()
ax.grid(alpha=0.3)

তিনটাই দেখতে প্রায় একই — positive দিকে প্রায় সরলরেখা, negative দিকে প্রায় 0 — কিন্তু 0-এর কাছে মসৃণ। Activation বাছাইয়ের এই সূক্ষ্ম পার্থক্য বড় model-এ সামান্য কিন্তু মাপা যায় এমন উন্নতি দেয়।

Interview প্রশ্ন

Beginner: Activation function কেন দরকার?
Intermediate: Vanishing gradient কী? ReLU কীভাবে সাহায্য করে?
Advanced: "Dying ReLU" সমস্যা কী? Leaky ReLU বা GELU কীভাবে এটা সামলায়?

এরপর কী?

Neuron আর activation হাতে। এবার অনেকগুলো neuron মিলিয়ে layer, আর অনেকগুলো layer মিলিয়ে network — input থেকে output পর্যন্ত data কীভাবে যায়। পরের lesson: Forward propagation।