Python for AI/Matplotlib/Lesson 52

Histogram

একটা variable-এর মান কীভাবে ছড়ানো — histogram আর bins, distribution-এর আকার (skew), দুটো দলের তুলনা, আর category-র জন্য bar chart।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

৩০০ জন student-এর নম্বর — গড় ৬২। কিন্তু বেশিরভাগ কি ৬০-এর আশেপাশে, নাকি অর্ধেক ৯০ আর অর্ধেক ৩০? গড় এটা বলে না। Histogram বলে:

main.py

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(3)
marks = np.clip(rng.normal(62, 14, 300), 0, 100)

fig, ax = plt.subplots()
ax.hist(marks, bins=10, range=(0, 100), color="#059669", edgecolor="white")
ax.set_xlabel("marks")
ax.set_ylabel("number of students")

পুরো range-কে ভাগে ভাগ করা হয় (bins: 0–10, 10–20, …), প্রতিটা ভাগে কতজন পড়ে, সেটাই bar-এর উচ্চতা।

কেন দরকার?

Data বোঝা — একটা feature-এর মান কোথায় বেশি, কতটা ছড়ানো, outlier আছে কিনা
Transformation বাছাই — skewed data-য় log লাগবে কিনা
দুই দলের তুলনা — fraud আর normal transaction-এর amount কতটা আলাদা
Model-এর ভুলের distribution — residual-গুলো 0-এর চারপাশে সমানভাবে ছড়ানো কিনা

Distribution-এর আকার

main.py

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
shapes = {
    "normal (heights)": rng.normal(165, 8, 2000),
    "right-skewed (salaries)": rng.lognormal(10.5, 0.6, 2000) / 1000,
    "bimodal (two groups)": np.concatenate([rng.normal(40, 6, 1000), rng.normal(75, 6, 1000)]),
}

fig, axes = plt.subplots(1, 3, figsize=(11, 3))
for ax, (name, data) in zip(axes, shapes.items()):
    ax.hist(data, bins=40, color="#059669", alpha=0.8)
    ax.axvline(np.mean(data), color="red", label="mean")
    ax.axvline(np.median(data), color="#0f172a", linestyle="--", label="median")
    ax.set_title(name)
axes[0].legend()

আকার	চেনার উপায়	করণীয়
Normal	ঘণ্টার মতো, mean ≈ median	সাধারণত কিছু লাগে না
Right-skewed	ডানে লম্বা লেজ, mean > median	`np.log1p` transform
Bimodal	দুটো চূড়া	হয়তো দুটো আলাদা দল মিশে আছে — খুঁজে বের করো কেন

দুটো দলের তুলনা

main.py

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(5)
normal_tx = rng.lognormal(7, 0.5, 3000)
fraud_tx = rng.lognormal(8.2, 0.7, 150)

fig, ax = plt.subplots()
bins = np.linspace(0, 15000, 50)
ax.hist(normal_tx, bins=bins, alpha=0.6, density=True, label="normal")
ax.hist(fraud_tx, bins=bins, alpha=0.6, density=True, label="fraud")
ax.set_xlabel("transaction amount")
ax.legend()

দুটো কৌশল: একই bins (তাহলে তুলনা ন্যায্য), আর density=True — fraud মাত্র ১৫০টা, normal ৩০০০টা; density না দিলে fraud-এর bar প্রায় দেখাই যেত না।

Bar chart: category-র জন্য

সংখ্যা না, category হলে histogram না, bar chart:

main.py

import pandas as pd
import matplotlib.pyplot as plt

cities = pd.Series(["Dhaka"] * 45 + ["Chattogram"] * 22 + ["Sylhet"] * 12 + ["Khulna"] * 9 + ["Rajshahi"] * 7)
counts = cities.value_counts()

fig, ax = plt.subplots()
bars = ax.barh(counts.index[::-1], counts.values[::-1], color="#059669")
ax.bar_label(bars, padding=3)
ax.set_xlabel("customers")
ax.set_title("Customers by city")

Category-র নাম লম্বা হলে barh (আড়াআড়ি) পড়তে সহজ। আর সবসময় sort করো — এলোমেলো ক্রমের bar chart তুলনা করা কঠিন।

Exercise

নম্বরের histogram

+20 XP

fig, ax = plt.subplots() দিয়ে marks-এর একটা histogram আঁকো, 10টা bin, 0 থেকে 100 পর্যন্ত (range=(0, 100))।

তারপর গড় নম্বরে একটা খাড়া line (ax.axvline)। Title: "Exam marks"।

solution.py

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(3)
marks = np.clip(rng.normal(62, 14, 300), 0, 100)

fig, ax = plt.subplots()

Quiz

Q1Histogram আর bar chart-এর পার্থক্য কী?
কোনো পার্থক্য নেইHistogram — সংখ্যার মান ভাগে ভাগে (bin) গুনে, bar-গুলো গায়ে গায়ে; Bar chart — আলাদা আলাদা category, প্রতিটার একটা barHistogram শুধু ছবির জন্য
Q2Salary-র histogram-এ বেশিরভাগ বাম দিকে, ডানে লম্বা লেজ — কী বলা যায়?
Right-skewed — mean median-এর চেয়ে বড়, কারণ কয়েকজনের বিশাল salary গড়কে টেনে তোলেData ভুলNormal distribution
Q3Bin সংখ্যা খুব কম (যেমন ২টা) হলে কী সমস্যা?
Graph ধীর হয়Distribution-এর আকার হারিয়ে যায় — সব তথ্য দুটো মোটা bar-এ চাপা পড়েকোনো সমস্যা নেই

0/3 answered

Challenge

Category-র sorted bar chart

+50 XP

Customer complaint-এর category দেওয়া আছে। fig, ax = plt.subplots() দিয়ে একটা bar chart বানাও:

প্রতিটা category একটা bar, উচ্চতা = কতবার এসেছে
Bar-গুলো বেশি থেকে কম ক্রমে (বাম থেকে ডানে)
প্রতিটা bar-এর ওপরে তার সংখ্যা লেখা (ax.bar_label)

solution.py

import pandas as pd
import matplotlib.pyplot as plt

complaints = pd.Series([
    "delivery", "payment", "delivery", "quality", "delivery", "refund",
    "quality", "payment", "delivery", "quality", "delivery", "app",
])

fig, ax = plt.subplots()

বাস্তবে কোথায় ব্যবহার হয়?

Log transform — skewed feature-কে model-এর জন্য উপযোগী করা। Linear model আর neural network সাধারণত সমানভাবে ছড়ানো data-য় ভালো কাজ করে:

main.py

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(2)
income = rng.lognormal(10.5, 0.8, 3000)

fig, axes = plt.subplots(1, 2, figsize=(9, 3.5))
axes[0].hist(income, bins=50, color="#64748b")
axes[0].set_title(f"raw income (skew: mean {income.mean():,.0f} vs median {np.median(income):,.0f})", fontsize=9)
axes[1].hist(np.log1p(income), bins=50, color="#059669")
axes[1].set_title("log1p(income) — roughly normal", fontsize=9)

একটা লাইন (np.log1p) — আর বিশাল লেজওয়ালা data হয়ে গেল প্রায় ঘণ্টার মতো। House price, income, ad click — অনেক Kaggle competition-এ target-এর ওপরেই এই transform করা হয়।

Interview প্রশ্ন

Beginner: Histogram কী? Bar chart থেকে কোথায় আলাদা?
Intermediate: Skewed distribution কী? Mean আর median-এর মধ্যে কোনটা তখন বেশি তথ্যবহুল?
Advanced: Feature-এ log transform কেন সাহায্য করে? Target-এ log transform করলে prediction-এর পর কী করতে হয়? (np.expm1 দিয়ে ফেরত আনা, আর এতে কী ধরনের error কমানো হচ্ছে তা বোঝা।)

এরপর কী?

এই module-এ বারবার plt.subplots(1, 3) দিয়ে একসাথে কয়েকটা graph এঁকেছি। এটা ঠিকমতো শেখার পালা — একটা পুরো dashboard। পরের lesson: Subplots।