Python for AI/NumPy/Lesson 39

Random Numbers

np.random.default_rng দিয়ে reproducible random — uniform, integers, normal distribution, choice, permutation; আর data shuffle করে train/test ভাগ করা ঠিক যেভাবে scikit-learn করে।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

ML-এ random সবখানে — কিন্তু এমন random যেটা দরকার হলে হুবহু আবার তৈরি করা যায়:

main.py

import numpy as np

rng = np.random.default_rng(42)
print(rng.random(3))
print(rng.integers(1, 7, size=5))

rng = np.random.default_rng(42)
print(rng.random(3))

একই seed (42) দিয়ে আবার শুরু করলে হুবহু একই সংখ্যা। একে বলে reproducibility।

কেন দরকার?

Data shuffle — train আর test-এ data এলোমেলোভাবে ভাগ করা
Weight initialization — neural network শুরু হয় random weight দিয়ে
Dropout, data augmentation — training-এ random ইচ্ছাকৃতভাবে ব্যবহার
Simulation — synthetic data বানিয়ে algorithm পরীক্ষা

আর reproducibility কেন? ধরো তোমার model আজ 89% accuracy দিল, কাল 84%। কোডে কিছু বদলাওনি — শুধু random আলাদা ছিল। Seed ঠিক না রাখলে কোন পরিবর্তন সত্যিই উন্নতি এনেছে বোঝা অসম্ভব।

Generator: আধুনিক উপায়

main.py

import numpy as np

rng = np.random.default_rng(seed=7)

print(rng.random(4))
print(rng.uniform(10, 20, size=3))
print(rng.integers(0, 100, size=5))
print(rng.choice(["cat", "dog", "bird"], size=6))
print(rng.choice(10, size=4, replace=False))

Method	কী দেয়
`rng.random(n)`	0 থেকে 1-এর মধ্যে
`rng.uniform(a, b, n)`	a থেকে b-এর মধ্যে সমানভাবে
`rng.integers(a, b, n)`	a থেকে b−1 পূর্ণসংখ্যা
`rng.normal(mean, std, n)`	bell curve
`rng.choice(items, n)`	তালিকা থেকে বাছাই
`rng.permutation(n)`	0..n−1 এলোমেলো ক্রমে

পুরনো code-এ দেখবে np.random.seed(42) আর np.random.rand() — এটা legacy API। নতুন code-এ default_rng ব্যবহার করো: এর algorithm ভালো, আর প্রতিটা generator স্বাধীন।

Normal distribution

main.py

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
heights = rng.normal(loc=165, scale=8, size=5000)

print(f"গড়: {heights.mean():.1f}, std: {heights.std():.1f}")
within_1_std = np.abs(heights - 165) < 8
print(f"গড় থেকে ১ std-এর মধ্যে: {within_1_std.mean():.0%}")

plt.hist(heights, bins=40, color="#059669", alpha=0.8)
plt.title("Height of 5000 people (simulated)")
plt.xlabel("cm")

প্রায় ৬৮% মান গড় থেকে ১ std-এর মধ্যে — normal distribution-এর বিখ্যাত নিয়ম। (Graph-এর title English-এ রেখেছি — Matplotlib-এর default font-এ বাংলা অক্ষর নেই।)

Shuffle আর permutation

main.py

import numpy as np

rng = np.random.default_rng(1)

cards = np.arange(10)
rng.shuffle(cards)
print("shuffle (জায়গায় বদলায়):", cards)

order = rng.permutation(5)
names = np.array(["Rafi", "Mim", "Tanvir", "Nusrat", "Karim"])
scores = np.array([72, 90, 55, 81, 66])
print(order)
print(names[order], scores[order])

দুটো সম্পর্কিত array (নাম আর নম্বর) একসাথে এলোমেলো করতে permutation বানিয়ে দুটোতেই প্রয়োগ করো।

Exercise

Dice simulation

+20 XP

rng = np.random.default_rng(42) দিয়ে একটা ছক্কা (1 থেকে 6) 10,000 বার নিক্ষেপ simulate করো — rolls array-তে রাখো।

তারপর six_ratio = কত ভাগ নিক্ষেপে 6 এসেছে (0 থেকে 1)। তত্ত্ব অনুযায়ী এটা ১/৬ ≈ 0.167-এর কাছাকাছি হওয়া উচিত।

solution.py

import numpy as np

rng = np.random.default_rng(42)

rolls = None
six_ratio = None

print(rolls[:10] if rolls is not None else None, six_ratio)

Quiz

Q1Seed দিলে কী হয়?
সংখ্যাগুলো আর random থাকে না, সব একই সংখ্যাএকই seed দিলে প্রতিবার একই random sequence আসে — experiment reproducible হয়Random সংখ্যা দ্রুত তৈরি হয়
Q2rng.normal(loc=170, scale=10, size=1000) কী দেয়?
170 থেকে 180-এর মধ্যে 1000টা সংখ্যাগড় 170 আর standard deviation 10-এর bell curve থেকে 1000টা সংখ্যা1000টা 170
Q3X আর y আলাদা আলাদা rng.shuffle করলে কী সমস্যা?
কোনো সমস্যা নেইদুটো ভিন্নভাবে এলোমেলো হয় — feature আর তার label-এর জোড়া ভেঙে যায়, model ভুল জিনিস শেখেShuffle শুধু list-এ কাজ করে

0/3 answered

Challenge

Shuffle করে train/test ভাগ

+50 XP

train_test_split(X, y, test_ratio, seed) লেখো — scikit-learn-এর বিখ্যাত function-এর নিজের সংস্করণ:

np.random.default_rng(seed) দিয়ে row-গুলোর একটা random ক্রম (permutation) বানাও
X আর y একই ক্রমে সাজাও (নাহলে feature আর label-এর জোড়া ভেঙে যাবে!)
শেষের int(len(X) * test_ratio)টা test, বাকি train
Return: X_train, X_test, y_train, y_test

একই seed দিলে সবসময় একই ভাগ।

solution.py

import numpy as np


def train_test_split(X, y, test_ratio, seed):
    pass


X = np.arange(20).reshape(10, 2)
y = np.arange(10) * 100
X_train, X_test, y_train, y_test = train_test_split(X, y, 0.3, seed=7)
print(X_test, y_test)

বাস্তবে কোথায় ব্যবহার হয়?

Synthetic data দিয়ে একটা algorithm পরীক্ষা করা — আসল সম্পর্ক আমরা জানি, তাই model সেটা খুঁজে পায় কিনা যাচাই করা যায়:

main.py

import numpy as np

rng = np.random.default_rng(42)

size_sqft = rng.uniform(500, 2500, size=200)
noise = rng.normal(0, 5, size=200)
price_lakh = 0.04 * size_sqft + 10 + noise

print("প্রথম ৩টা বাড়ি:")
for s, p in zip(size_sqft[:3], price_lakh[:3]):
    print(f"  {s:6.0f} sqft -> {p:5.1f} লাখ টাকা")

slope, intercept = np.polyfit(size_sqft, price_lakh, 1)
print(f"খুঁজে পাওয়া সম্পর্ক: price ≈ {slope:.3f} × size + {intercept:.1f}")
print("আসল সম্পর্ক:        price = 0.040 × size + 10.0")

Noise থাকা সত্ত্বেও line fitting প্রায় আসল সূত্রটাই খুঁজে পেল। এটাই linear regression — পরের lesson-এ এর পেছনের linear algebra দেখবো।

Interview প্রশ্ন

Beginner: Random seed কী? কেন ব্যবহার করবে?
Intermediate: np.random.seed() (legacy) আর np.random.default_rng()-এর পার্থক্য কী?
Advanced: Train/test split-এ "stratified" sampling কী? Imbalanced dataset-এ কেন দরকার?

এরপর কী?

Neural network আসলে অনেকগুলো matrix গুণ। Linear regression-এর সমাধানও একটা matrix সমীকরণ। NumPy module-এর শেষ lesson: Linear Algebra Basics।