Python for AI/NumPy/Lesson 38

Aggregation: sum, mean, axis

অনেক মান থেকে একটা সারাংশ — sum, mean, std, min, max, argmax; axis দিয়ে row বা column ধরে হিসাব; আর model-এর probability থেকে accuracy বের করা।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Aggregation মানে অনেক মান থেকে একটা সারাংশ বের করা — যোগফল, গড়, সর্বোচ্চ:

main.py

import numpy as np

sales = np.array([120, 340, 90, 560, 210])

print("মোট:", sales.sum())
print("গড়:", sales.mean())
print("std:", round(sales.std(), 1))
print("সর্বনিম্ন/সর্বোচ্চ:", sales.min(), sales.max())
print("সর্বোচ্চ কোন দিনে:", sales.argmax())
print("ক্রমযোজিত:", sales.cumsum())

কেন দরকার?

Dataset বোঝা — প্রতিটা feature-এর গড়, পরিসর, std
Model evaluation — accuracy, গড় loss
Prediction — probability থেকে সবচেয়ে সম্ভাব্য class (argmax)
Batch-এর loss — প্রতিটা sample-এর loss-এর গড়

axis: সবচেয়ে বিভ্রান্তিকর, সবচেয়ে গুরুত্বপূর্ণ

2D array-তে axis বলে দেয় কোন dimension চেপে ফেলা হবে:

               subject 0  subject 1  subject 2
  student 0  [    72        85         64   ]   -> axis=1: row ধরে
  student 1  [    90        78         88   ]      (প্রতিটা student-এর মোট)
  student 2  [    55        92         70   ]
                   |         |          |
                   v  axis=0: column ধরে
                      (প্রতিটা subject-এর গড়)

main.py

import numpy as np

scores = np.array([
    [72, 85, 64],
    [90, 78, 88],
    [55, 92, 70],
])

print("সব মিলিয়ে গড়:", scores.mean())
print("প্রতিটা subject (axis=0):", scores.mean(axis=0))
print("প্রতিটা student (axis=1):", scores.mean(axis=1))
print("shape:", scores.shape, "->", scores.mean(axis=0).shape, scores.mean(axis=1).shape)

মনে রাখার উপায়: axis=0 দিলে shape থেকে প্রথম সংখ্যাটা মুছে যায় — (3, 3) থেকে (3,) যেটা column-গুলোর সংখ্যা। ML dataset-এ (sample, feature) — axis=0 মানে "সব sample মিলিয়ে, প্রতিটা feature-এর জন্য"।

argmax / argmin / argsort

মান না, position দরকার হলে:

main.py

import numpy as np

probs = np.array([
    [0.1, 0.7, 0.2],
    [0.8, 0.1, 0.1],
    [0.3, 0.3, 0.4],
])
classes = np.array(["cat", "dog", "bird"])

pred = probs.argmax(axis=1)
print(pred)
print(classes[pred])

scores = np.array([72, 95, 64, 88])
print("ছোট থেকে বড়-র index:", np.argsort(scores))
print("top 2:", np.argsort(scores)[::-1][:2])

keepdims: broadcasting-এর বন্ধু

প্রতিটা row-কে তার নিজের যোগফল দিয়ে ভাগ করতে চাই (প্রতিটা row-এর যোগফল যেন 1 হয়):

main.py

import numpy as np

counts = np.array([[2, 6, 2], [1, 1, 8]])

totals = counts.sum(axis=1, keepdims=True)
print(totals.shape)
print(counts / totals)

keepdims=True shape রাখে (2, 1) — তাই broadcasting ঠিকমতো প্রতিটা row-কে ভাগ করে। এটা না দিলে shape হতো (2,), আর broadcasting ভুল দিকে মেলাত।

Missing value: nan-safe function

main.py

import numpy as np

temps = np.array([22.5, np.nan, 23.1, 21.8])
print(np.mean(temps))
print(np.nanmean(temps), np.nanmax(temps))
print("কতগুলো missing:", np.isnan(temps).sum())

Exercise

Class report

+20 XP

scores হলো 4×3 array — ৪ জন student (row), ৩টা subject (column)।

subject_avg — প্রতিটা subject-এর গড় (৩টা মান)
student_total — প্রতিটা student-এর মোট (৪টা মান)
topper — সবচেয়ে বেশি মোট নম্বর পাওয়া student-এর index

axis দিয়ে করো, loop ছাড়া।

solution.py

import numpy as np

scores = np.array([
    [72, 85, 64],
    [90, 78, 88],
    [55, 92, 70],
    [81, 60, 95],
])

subject_avg = None
student_total = None
topper = None

print(subject_avg, student_total, topper)

Quiz

Challenge

Probability থেকে accuracy

+50 XP

একটা classifier প্রতিটা sample-এর জন্য প্রতিটা class-এর probability দিয়েছে — probs shape (n_samples, n_classes)। আসল label labels-এ।

accuracy(probs, labels) লেখো:

প্রতিটা sample-এর prediction = সবচেয়ে বেশি probability-র class
Accuracy = কত ভাগ prediction ঠিক (0 থেকে 1, একটা float)

Loop ছাড়া।

solution.py

import numpy as np


def accuracy(probs, labels):
    pass


probs = np.array([
    [0.7, 0.2, 0.1],
    [0.1, 0.3, 0.6],
    [0.2, 0.5, 0.3],
    [0.6, 0.3, 0.1],
])
labels = np.array([0, 2, 0, 0])
print(accuracy(probs, labels))

বাস্তবে কোথায় ব্যবহার হয়?

Confusion matrix — কোন class কোন class-এর সাথে গুলিয়ে যাচ্ছে, model evaluation-এর সবচেয়ে কাজের table:

main.py

import numpy as np

classes = ["positive", "negative", "neutral"]
y_true = np.array([0, 0, 1, 1, 2, 2, 0, 1, 2, 2])
y_pred = np.array([0, 0, 1, 0, 2, 1, 0, 1, 2, 0])

matrix = np.zeros((3, 3), dtype=int)
np.add.at(matrix, (y_true, y_pred), 1)

print(" " * 10 + "".join(f"{c[:3]:>6}" for c in classes) + "   <- predicted")
for name, row in zip(classes, matrix):
    print(f"{name:<10}" + "".join(f"{v:>6}" for v in row))

per_class = matrix.diagonal() / matrix.sum(axis=1)
for name, r in zip(classes, per_class):
    print(f"{name:<10} recall {r:.0%}")

Diagonal = ঠিক prediction। Row ধরে যোগফল (axis=1) = প্রতিটা আসল class কতগুলো। এখান থেকে দেখা যায় "neutral" সবচেয়ে বেশি গুলিয়ে যায় — model-কে আরও neutral উদাহরণ দেওয়া দরকার।

Interview প্রশ্ন

Beginner: axis=0 আর axis=1-এর পার্থক্য কী?
Intermediate: keepdims=True কখন আর কেন দরকার?
Advanced: Imbalanced dataset-এ accuracy কেন misleading? Confusion matrix থেকে precision আর recall কীভাবে বের করবে?

এরপর কী?

এতক্ষণ সব data হাতে বানিয়েছি। ML-এ random number সবখানে — data shuffle, weight initialize, train/test ভাগ। কিন্তু "random" হয়েও প্রতিবার একই ফলাফল চাই! পরের lesson: Random Numbers।