Python for AI/NumPy/Lesson 40

Linear Algebra Basics

Dot product, matrix গুণ (@), shape-এর নিয়ম, transpose — আর এগুলো দিয়ে একটা neural network layer আর linear regression নিজে হাতে বানানো।

সময়: 26 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Linear algebra ভয়ের কিছু না — এর মূলে মাত্র একটা ধারণা: dot product — দুটো vector-এর জোড়া জোড়া গুণ করে যোগ।

main.py

import numpy as np

hours = np.array([2, 5, 1])
rate = np.array([500, 300, 800])

print(hours * rate)
print((hours * rate).sum())
print(hours @ rate)

৩ ধরনের কাজ, ঘণ্টা আর ঘণ্টাপ্রতি টাকা — মোট আয় = dot product।

কেন দরকার?

একটা linear model-এর prediction আসলে একটা dot product:

দাম = 40 × আয়তন + 5 × রুম − 0.5 × বয়স + 10
    = [আয়তন, রুম, বয়স] · [40, 5, −0.5] + 10
    = x · w + b

আর ১০০০টা বাড়ির জন্য একসাথে? Matrix গুণ: X @ w + b। Neural network-এর প্রতিটা layer ঠিক এটাই — শুধু w একটা vector-এর বদলে একটা matrix। GPU যে কারণে AI-এর জন্য এত গুরুত্বপূর্ণ: GPU বিশাল matrix গুণ অসম্ভব দ্রুত করে।

Matrix × vector

main.py

import numpy as np

X = np.array([
    [1.4, 3, 10],
    [0.9, 2, 25],
    [2.1, 4, 5],
])
w = np.array([40.0, 5.0, -0.5])

print(X @ w)
print(X.shape, "@", w.shape, "->", (X @ w).shape)

প্রতিটা row-এর সাথে w-এর dot product — প্রতিটা বাড়ির জন্য একটা prediction।

Matrix × matrix আর shape-এর নিয়ম

   (m, n)  @  (n, p)  ->  (m, p)
       ^------^
   ভেতরের দুটো সমান হতে হবে

main.py

import numpy as np

A = np.array([[1, 2], [3, 4], [5, 6]])
B = np.array([[10, 20, 30], [40, 50, 60]])

C = A @ B
print(A.shape, "@", B.shape, "->", C.shape)
print(C)
print("C[0, 0] =", A[0] @ B[:, 0])

ফলাফলের প্রতিটা ঘর = A-এর একটা row আর B-এর একটা column-এর dot product।

Shape না মিললে:

main.py

import numpy as np

A = np.ones((3, 2))
B = np.ones((3, 2))
print(A @ B)

Error message: matmul: Input operand 1 has a mismatch in its core dimension 0। প্রায়ই সমাধান transpose (.T):

main.py

import numpy as np

A = np.ones((3, 2))
B = np.ones((3, 2))
print((A @ B.T).shape)
print((A.T @ B).shape)

* element-wise, @ matrix গুণ — গুলিয়ে ফেলা খুব common bug, আর shape মিলে গেলে কোনো error-ও দেয় না।

Math intuition: একটা neural network layer

main.py

import numpy as np

rng = np.random.default_rng(0)

batch = rng.random((4, 3))
W = rng.normal(0, 0.5, size=(3, 5))
b = np.zeros(5)

hidden = np.maximum(0, batch @ W + b)

print("input: ", batch.shape)
print("weight:", W.shape)
print("output:", hidden.shape)
print(np.round(hidden, 2))

batch @ W + b,  তারপর ReLU
(4, 3) @ (3, 5) + (5,)  ->  (4, 5)
 ৪টা sample, ৩টা input feature  ->  ৪টা sample, ৫টা hidden feature

এটাই PyTorch-এর nn.Linear(3, 5) + nn.ReLU()। "Deep" learning মানে এরকম অনেকগুলো layer পরপর।

Identity, inverse, solve

main.py

import numpy as np

A = np.array([[2.0, 1.0], [1.0, 3.0]])
b = np.array([5.0, 10.0])

x = np.linalg.solve(A, b)
print("সমাধান:", x)
print("যাচাই A @ x:", A @ x)
print("A @ I == A:", np.allclose(A @ np.eye(2), A))

দুই অজানার দুটো সমীকরণ (2x + y = 5, x + 3y = 10) — এক লাইনে সমাধান। np.linalg.inv(A) @ b-ও কাজ করে, কিন্তু solve দ্রুত আর numerically বেশি নির্ভরযোগ্য।

Exercise

Linear model-এর prediction

+20 XP

একটা trained linear model-এর weight w আর bias b দেওয়া আছে। X-এ ৪টা বাড়ির ৩টা করে feature (আয়তন হাজার sqft-এ, রুম সংখ্যা, বয়স)।

প্রতিটা বাড়ির predicted দাম: ŷ = X · w + b

y_pred হিসাব করো — matrix গুণ (@) দিয়ে, loop ছাড়া।

solution.py

import numpy as np

X = np.array([
    [1.4, 3, 10],
    [0.9, 2, 25],
    [2.1, 4, 5],
    [1.2, 3, 15],
])
w = np.array([40.0, 5.0, -0.5])
b = 10.0

y_pred = None

print(y_pred)

Quiz

0/3 answered

Challenge

Linear regression নিজে বানাও

+50 XP

fit_linear(X, y) function লেখো যেটা data থেকে সবচেয়ে ভালো w আর b খুঁজে বের করে (least squares) — (w, b) return করবে।

কৌশল: X-এর ডানে একটা 1-এর column যোগ করো — তাহলে bias-টাও একটা সাধারণ weight হয়ে যায়। তারপর np.linalg.lstsq দিয়ে সমাধান।

w একটা 1D array (প্রতিটা feature-এর জন্য একটা), b একটা float।

solution.py

import numpy as np


def fit_linear(X, y):
    pass


rng = np.random.default_rng(0)
X = rng.uniform(0, 10, size=(100, 2))
y = X @ np.array([3.0, -2.0]) + 5 + rng.normal(0, 0.1, 100)
w, b = fit_linear(X, y)
print(np.round(w, 2), round(b, 2))

বাস্তবে কোথায় ব্যবহার হয়?

Cosine similarity — দুটো text কতটা একই রকম, embedding-এর যুগে সবচেয়ে গুরুত্বপূর্ণ হিসাবগুলোর একটা। RAG system আর semantic search ঠিক এভাবেই প্রশ্নের সাথে সবচেয়ে মিল থাকা document খোঁজে:

main.py

import numpy as np

docs = ["Python শেখা", "Machine Learning", "ক্রিকেট খেলা", "Deep Learning"]
embeddings = np.array([
    [0.9, 0.1, 0.0, 0.2],
    [0.3, 0.9, 0.1, 0.4],
    [0.0, 0.1, 0.95, 0.0],
    [0.2, 0.8, 0.0, 0.6],
])
query = np.array([0.25, 0.85, 0.05, 0.55])

norms = np.linalg.norm(embeddings, axis=1) * np.linalg.norm(query)
similarity = embeddings @ query / norms

for i in np.argsort(similarity)[::-1]:
    print(f"{similarity[i]:.3f}  {docs[i]}")

এক matrix গুণে সব document-এর সাথে তুলনা। Real system-এ embedding আসে model থেকে (৭৬৮ বা ১৫৩৬ dimension), document থাকে লাখ লাখ — কিন্তু হিসাবটা হুবহু এই।

Interview প্রশ্ন

Beginner: Dot product কী? * আর @-এর পার্থক্য কী?
Intermediate: (64, 100) @ (100, 10)-এর shape কী? এটা neural network-এর কোন অংশ?
Advanced: Linear regression-এর normal equation w = (XᵀX)⁻¹Xᵀy — বড় dataset-এ কেন সরাসরি inverse না করে gradient descent বা lstsq ব্যবহার করা হয়?

এরপর কী?

অভিনন্দন! 🎉 NumPy module শেষ। তুমি এখন array বানাতে, কাটতে, vectorized হিসাব করতে, broadcasting বুঝতে, আর matrix গুণ দিয়ে neural network layer ও linear regression বানাতে পারো — ML-এর গাণিতিক ভিত্তি তৈরি।

পরের module: Pandas — NumPy-র ওপর তৈরি, real-world tabular data (CSV, Excel) load, clean আর analyze করার সবচেয়ে জনপ্রিয় library।