Python for AI/NumPy/Lesson 36

Vectorized Operations

Element-wise হিসাব, universal function (np.exp, np.log, np.sqrt), np.where দিয়ে শর্তভিত্তিক মান — আর এগুলো দিয়ে neural network-এর activation function নিজে লেখা।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

NumPy-তে প্রায় সব গাণিতিক operation element-wise — প্রতিটা item-এর ওপর আলাদাভাবে, কিন্তু একসাথে:

main.py

import numpy as np

a = np.array([1, 2, 3, 4])
b = np.array([10, 20, 30, 40])

print(a + b)
print(a * b)
print(b / a)
print(a ** 2)
print(b % 3)

কেন দরকার?

Neural network আসলে অনেকগুলো element-wise operation আর matrix গুণ পরপর সাজানো। Activation function (ReLU, sigmoid), loss function (MSE, cross-entropy), normalization — সব এই lesson-এর tool দিয়ে লেখা।

Universal functions (ufunc)

math.sqrt শুধু একটা সংখ্যা নেয়। np.sqrt পুরো array নেয়:

main.py

import numpy as np

x = np.array([1.0, 4.0, 9.0, 16.0])

print(np.sqrt(x))
print(np.exp([0, 1, 2]))
print(np.log([1, np.e, 100]))
print(np.round(np.array([1.234, 5.678]), 1))
print(np.abs([-3, 0, 4]))
print(np.clip([-5, 3, 12], 0, 10))

Function	কাজ	ML-এ কোথায়
`np.exp`	eˣ	sigmoid, softmax
`np.log`	ln	cross-entropy loss
`np.sqrt`	বর্গমূল	RMSE, normalization
`np.abs`	পরম মান	MAE
`np.clip`	সীমার মধ্যে রাখা	log(0) এড়াতে, pixel 0–255
`np.maximum`	দুটোর বড়টা (element-wise)	ReLU

তুলনা আর `np.where`

main.py

import numpy as np

marks = np.array([35, 67, 82, 40, 29])

print(marks >= 40)
print(np.where(marks >= 40, "pass", "fail"))
print(np.where(marks >= 80, "A+", np.where(marks >= 40, "pass", "fail")))
print((marks >= 40).sum(), "জন pass")

(marks >= 40).sum() — True-কে 1, False-কে 0 ধরে যোগ। "কতগুলো শর্ত মানে" গোনার সবচেয়ে সহজ উপায়।

Math intuition: activation function

Neural network-এর প্রতিটা layer-এর পরে একটা activation function থাকে — যেটা network-কে বাঁকা (non-linear) pattern শেখার ক্ষমতা দেয়। সবচেয়ে common তিনটা নিজেই লিখে ফেলি:

main.py

import numpy as np

x = np.linspace(-3, 3, 7)

relu = np.maximum(0, x)
sigmoid = 1 / (1 + np.exp(-x))
tanh = np.tanh(x)

print("x:      ", x)
print("ReLU:   ", relu)
print("sigmoid:", np.round(sigmoid, 3))
print("tanh:   ", np.round(tanh, 3))

ReLU:     negative হলে 0, নাহলে নিজেই       -> সবচেয়ে জনপ্রিয়, সহজ আর দ্রুত
sigmoid:  সবকিছু 0 থেকে 1-এ               -> probability (binary classification)
tanh:     সবকিছু -1 থেকে 1-এ              -> পুরনো RNN-এ

চলো graph-এ দেখি:

main.py

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-5, 5, 200)
plt.plot(x, np.maximum(0, x), label="ReLU")
plt.plot(x, 1 / (1 + np.exp(-x)), label="sigmoid")
plt.plot(x, np.tanh(x), label="tanh")
plt.ylim(-1.5, 3)
plt.legend()
plt.grid(alpha=0.3)
plt.title("Activation functions")

(Matplotlib module-এ graph আঁকা বিস্তারিত শিখবো।)

Numerical সমস্যা: inf আর nan

Computer-এ float-এর একটা সীমা আছে:

main.py

import numpy as np

print(np.exp(710.0))
print(np.log(0.0))
print(np.array([np.inf]) - np.inf)

inf (অসীম) আর nan (Not a Number) একবার ঢুকলে সব হিসাবে ছড়িয়ে পড়ে — training-এ হঠাৎ "loss: nan" দেখার সবচেয়ে common কারণ। Challenge-এ এর একটা সমাধান লিখবে।

Exercise

Sigmoid function

+20 XP

Sigmoid যেকোনো সংখ্যাকে 0 আর 1-এর মধ্যে নিয়ে আসে — logistic regression-এর হৃদয়:

sigmoid(x) = 1 / (1 + e^(−x))

sigmoid(x) function লেখো যেটা একটা সংখ্যা বা পুরো array — দুটোতেই কাজ করে। np.exp ব্যবহার করো, loop ছাড়া।

solution.py

import numpy as np


def sigmoid(x):
    pass


print(sigmoid(0))
print(sigmoid(np.array([-5, 0, 5])))

Quiz

Q1np.array([1, 2, 3]) * np.array([4, 5, 6]) কত?
32 (dot product)[4, 10, 18] (element-wise)error
Q2np.where(x > 0, x, 0) কী করে?
শুধু positive মানগুলো রাখে, array ছোট হয়ে যায়একই shape রেখে, negative মানগুলোর জায়গায় 0 বসায় — অর্থাৎ ReLUx > 0 কিনা True/False দেয়
Q3np.log(0) কী দেয়?
0-inf (সাথে একটা warning)Error, program থেমে যায়

0/3 answered

Challenge

Stable softmax

+50 XP

Softmax একটা score-এর vector-কে probability-তে রূপান্তর করে (সব 0 থেকে 1, যোগফল 1) — প্রতিটা classification neural network-এর শেষ ধাপ:

softmax(x)ᵢ = e^(xᵢ) / Σ e^(xⱼ)

softmax(x) লেখো (1D array)। সাবধান: np.exp(1000) = inf — বড় score-এ সাধারণ সূত্র nan দেয়। সমাধান: হিসাবের আগে সব score থেকে সবচেয়ে বড়টা বিয়োগ করো (ফলাফল গাণিতিকভাবে একই থাকে)।

solution.py

import numpy as np


def softmax(x):
    pass


print(softmax(np.array([2.0, 1.0, 0.1])))
print(softmax(np.array([1000.0, 1001.0])))

বাস্তবে কোথায় ব্যবহার হয়?

একটা ছোট neural network-এর forward pass — score থেকে probability, তারপর loss:

main.py

import numpy as np

scores = np.array([2.0, 0.5, -1.0])
labels = ["cat", "dog", "bird"]
true_class = 0

e = np.exp(scores - scores.max())
probs = e / e.sum()

for name, p in zip(labels, probs):
    print(f"{name:<6}{p:6.1%}")

loss = -np.log(probs[true_class] + 1e-12)
print(f"Cross-entropy loss: {loss:.3f}")

Softmax + cross-entropy — প্রায় সব classification model (image classifier থেকে LLM-এর পরের token prediction পর্যন্ত) ঠিক এই হিসাব করে। + 1e-12 আছে যাতে কখনো log(0) না হয়।

Interview প্রশ্ন

Beginner: Element-wise operation কী? * আর @-এর পার্থক্য কী?
Intermediate: ReLU, sigmoid আর tanh-এর পার্থক্য কী? Hidden layer-এ ReLU কেন বেশি জনপ্রিয়?
Advanced: Softmax-এ max বিয়োগ করলে ফলাফল কেন বদলায় না? (গাণিতিক প্রমাণ দাও।) "Vanishing gradient" সমস্যায় sigmoid-এর ভূমিকা কী?

এরপর কী?

এতক্ষণ একই shape-এর দুটো array নিয়ে হিসাব করেছি। কিন্তু একটা matrix-এর প্রতিটা row-তে একটা vector যোগ করতে চাইলে? NumPy-র সবচেয়ে শক্তিশালী (আর বিভ্রান্তিকর) feature — পরের lesson: Broadcasting।

Vectorized Operations

সহজ ভাষায়

কেন দরকার?

Universal functions (ufunc)

তুলনা আর np.where

Math intuition: activation function

Numerical সমস্যা: inf আর nan

Exercise

Quiz

Challenge

বাস্তবে কোথায় ব্যবহার হয়?

Interview প্রশ্ন

এরপর কী?

তুলনা আর `np.where`