Python for AI/Pandas/Lesson 49

apply ও Transformations

Column-এর মান রূপান্তর — map দিয়ে dictionary, apply দিয়ে নিজের function, pd.cut দিয়ে bin, .dt দিয়ে তারিখ থেকে feature — আর কেন vectorized উপায় apply-এর চেয়ে ভালো।

সময়: 24 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

প্রায়ই একটা column-এর মান অন্য রূপে চাই — text থেকে সংখ্যা, সংখ্যা থেকে category, তারিখ থেকে ঘণ্টা। Pandas-এ এর কয়েকটা উপায়, দ্রুত থেকে ধীর:

উপায়	কখন	গতি
Vectorized (`*`, `.str`, `.dt`, `np.where`)	যখনই সম্ভব	সবচেয়ে দ্রুত
`map(dict)`	নির্দিষ্ট মান → নির্দিষ্ট মান	দ্রুত
`pd.cut`	সংখ্যা → সীমা অনুযায়ী category	দ্রুত
`apply(function)`	জটিল logic, আর কোনো উপায় নেই	ধীর

কেন দরকার?

এটাই feature engineering — raw data-কে model-এর জন্য অর্থপূর্ণ সংখ্যায় রূপান্তর। প্রায়ই ভালো feature একটা ভালো algorithm-এর চেয়ে বেশি পার্থক্য আনে:

তারিখ (2026-10-02 23:15) model সরাসরি বোঝে না — কিন্তু "রাত ১১টা, শুক্রবার" বোঝে
বয়স ২৩, ৩৭, ৬৮ → "তরুণ", "মধ্যবয়সী", "প্রবীণ"
শহরের নাম → সংখ্যা

map: dictionary দিয়ে রূপান্তর

main.py

import pandas as pd

df = pd.DataFrame({"size": ["S", "L", "M", "XL", "M"]})

order = {"S": 1, "M": 2, "L": 3, "XL": 4}
df["size_num"] = df["size"].map(order)
print(df)

df2 = pd.DataFrame({"city": ["Dhaka", "Sylhet", "Comilla"]})
df2["division"] = df2["city"].map({"Dhaka": "Dhaka", "Sylhet": "Sylhet"})
print(df2)
print("ম্যাপ হয়নি:", df2["division"].isna().sum())

Comilla dictionary-তে নেই, তাই NaN। map-এর পর সবসময় যাচাই করো।

pd.cut: সংখ্যা থেকে category

main.py

import pandas as pd

ages = pd.Series([15, 23, 37, 45, 68, 81])

groups = pd.cut(ages, bins=[0, 17, 35, 60, 120], labels=["child", "young", "adult", "senior"])
print(pd.DataFrame({"age": ages, "group": groups}))
print(groups.value_counts(sort=False))

bins=[0, 17, 35, 60, 120] মানে (0, 17], (17, 35], (35, 60], (60, 120] — প্রতিটার ডান প্রান্ত সহ। সমান সংখ্যক মান প্রতিটা দলে চাইলে pd.qcut (quantile দিয়ে)।

.dt: তারিখ থেকে feature

main.py

import pandas as pd

t = pd.to_datetime(pd.Series(["2026-10-02 23:15", "2026-10-04 08:30", "2026-12-16 12:00"]))

print(pd.DataFrame({
    "time": t,
    "hour": t.dt.hour,
    "day": t.dt.day_name(),
    "dayofweek": t.dt.dayofweek,
    "month": t.dt.month,
}))

dayofweek: সোমবার = 0, … শুক্রবার = 4, শনিবার = 5, রবিবার = 6। বাংলাদেশে সাপ্তাহিক ছুটি শুক্র-শনি — isin([4, 5])। বিদেশি tutorial-এর >= 5 (শনি-রবি) কপি করলে বাংলাদেশের data-য় ভুল হবে!

apply: শেষ উপায়

যখন কোনো vectorized উপায় নেই:

main.py

import pandas as pd

reviews = pd.DataFrame({"text": ["দারুণ product!", "বাজে, টাকা নষ্ট", "ঠিক আছে", "অসাধারণ service, দারুণ"]})

positive_words = {"দারুণ", "অসাধারণ", "ভালো"}

def positive_score(text):
    words = text.replace(",", " ").replace("!", " ").split()
    return sum(word in positive_words for word in words)

reviews["positive"] = reviews["text"].apply(positive_score)
reviews["length"] = reviews["text"].str.len()
print(reviews)

length vectorized (.str.len()), কিন্তু positive_score-এর মতো নিজস্ব logic-এর জন্য apply।

গতির পার্থক্য

main.py

import time
import numpy as np
import pandas as pd

s = pd.Series(np.random.default_rng(0).uniform(0, 1000, 200_000))

start = time.perf_counter()
a = s.apply(lambda x: x * 1.15)
apply_ms = (time.perf_counter() - start) * 1000

start = time.perf_counter()
b = s * 1.15
vector_ms = (time.perf_counter() - start) * 1000

print(f"apply:      {apply_ms:7.1f} ms")
print(f"vectorized: {vector_ms:7.1f} ms")

Exercise

নম্বর থেকে grade

+20 XP

marks column থেকে grade column বানাও `pd.cut` দিয়ে:

0 থেকে 59 → "F"
60 থেকে 69 → "B"
70 থেকে 79 → "A"
80 থেকে 100 → "A+"

তারপর grade_counts = প্রতিটা grade কতজন পেয়েছে, একটা dict।

solution.py

import pandas as pd

df = pd.DataFrame({"name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim", "Rina"], "marks": [72, 95, 59, 80, 60, 79]})

grade_counts = None

print(df)
print(grade_counts)

Quiz

Q1df["city"].map({"Dhaka": 1, "Sylhet": 2}) — কোনো শহর dictionary-তে না থাকলে কী হয়?
সেই মান যেমন ছিল তেমন থাকেNaN হয়ে যায়Error
Q2১০ লাখ row-এ df["price"].apply(lambda x: x * 1.15) আর df["price"] * 1.15 — কোনটা দ্রুত?
apply* 1.15 (vectorized) — অনেক দ্রুতএকই
Q3pd.cut(marks, bins=[0, 59, 100]) — 59 কোন bin-এ পড়ে?
(0, 59] — প্রথমটায়(59, 100] — দ্বিতীয়টায়

0/3 answered

Challenge

Transaction থেকে ML feature

+50 XP

Fraud detection model-এর জন্য raw transaction থেকে feature বানাও। make_features(df) function একটা নতুন DataFrame return করবে, মূলের সব column সহ এই নতুনগুলো:

hour — time থেকে ঘণ্টা (0–23)
is_weekend — শুক্র বা শনিবার হলে True (বাংলাদেশের সাপ্তাহিক ছুটি!)
is_night — রাত ১০টা থেকে ভোর ৬টার আগে (hour >= 22 বা hour < 6) হলে True
amount_level — "low" (1000-এর নিচে), "mid" (1000 থেকে 9999), "high" (10000 বা বেশি) — string

time column text হিসেবে আসবে। Loop বা apply ছাড়া, vectorized।

solution.py

import numpy as np
import pandas as pd


def make_features(df):
    pass


tx = pd.DataFrame({
    "time": ["2026-10-02 23:15", "2026-10-04 14:00", "2026-10-03 03:40"],
    "amount": [12000, 450, 3500],
})
print(make_features(tx))

বাস্তবে কোথায় ব্যবহার হয়?

এই পুরো module একসাথে — raw data থেকে model-ready table, একটা clean pipeline হিসেবে। Pandas-এর method chaining আর assign দিয়ে প্রতিটা ধাপ পড়া যায়:

main.py

import numpy as np
import pandas as pd

raw = pd.DataFrame({
    "Customer ID": [1, 2, 3, 4, 5],
    "Signup": ["2025-01-10", "2025-06-03", None, "2026-02-14", "2025-11-30"],
    "City": ["dhaka", "Sylhet ", "DHAKA", "khulna", None],
    "Monthly Spend": [1200, np.nan, 3400, 800, 2100],
})

clean = (
    raw
    .rename(columns=lambda c: c.strip().lower().replace(" ", "_"))
    .assign(
        city=lambda d: d["city"].str.strip().str.title().fillna("Unknown"),
        signup=lambda d: pd.to_datetime(d["signup"]),
        monthly_spend=lambda d: d["monthly_spend"].fillna(d["monthly_spend"].median()),
    )
    .assign(
        tenure_days=lambda d: (pd.Timestamp("2026-10-06") - d["signup"]).dt.days,
        spend_level=lambda d: pd.cut(d["monthly_spend"], [0, 1000, 2500, np.inf], labels=["low", "mid", "high"]),
    )
)
print(clean)
print(clean.dtypes)

Column-এর নাম পরিষ্কার → text ঠিক করা → তারিখ → missing পূরণ → নতুন feature। প্রতিটা ধাপ আলাদা লাইনে, আর মূল raw অক্ষত। এভাবে লেখা code পরে পড়া, debug করা আর production pipeline-এ নেওয়া সহজ।

Interview প্রশ্ন

Beginner: map আর apply-এর পার্থক্য কী?
Intermediate: apply কেন ধীর? কখন এটা ছাড়া উপায় নেই?
Advanced: Feature engineering-এর সময় train/test leakage কীভাবে এড়াবে? (যেমন pd.qcut-এর সীমা কোন data থেকে হিসাব করবে?)

এরপর কী?

অভিনন্দন! 🎉 Pandas module শেষ। তুমি এখন real-world data load, পরিষ্কার, filter, group, merge আর transform করতে পারো — একজন data analyst বা ML engineer-এর প্রতিদিনের কাজ।

পরের module: Matplotlib — সংখ্যার পেছনের গল্প চোখে দেখা। Line, scatter, histogram — data visualize করে pattern খুঁজে বের করা।