Python for AI/Pandas/Lesson 47

GroupBy

Split → Apply → Combine: groupby দিয়ে প্রতিটা দলের গড়, যোগফল, সংখ্যা; agg দিয়ে একসাথে অনেক হিসাব; transform দিয়ে দলের মান প্রতিটা row-এ ফেরত।

সময়: 24 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

"প্রতিটা department-এর গড় CGPA কত?" — এই ধরনের প্রশ্নের উত্তরে তিনটা ধাপ:

1. Split:   department অনুযায়ী ভাগ করো
2. Apply:   প্রতিটা ভাগের গড় নাও
3. Combine: ফলাফলগুলো একটা table-এ জোড়া দাও

Pandas-এ এক লাইনে:

main.py

import pandas as pd

students = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim"],
    "dept": ["CSE", "EEE", "CSE", "ME", "CSE"],
    "cgpa": [3.4, 3.9, 3.7, 3.1, 3.55],
})

print(students.groupby("dept")["cgpa"].mean())

dept   name    cgpa                      dept   mean
CSE    Rafi    3.40  \
CSE    Tanvir  3.70   >--- CSE --->      CSE    3.55
CSE    Karim   3.55  /
EEE    Mim     3.90  ----- EEE --->      EEE    3.90
ME     Nusrat  3.10  ----- ME  --->      ME     3.10

কেন দরকার?

Data analysis-এর বেশিরভাগ প্রশ্ন আসলে groupby:

কোন শহরে বিক্রি সবচেয়ে বেশি?
প্রতি মাসে কতজন নতুন user?
কোন product category-তে return সবচেয়ে বেশি?
Model কোন class-এ সবচেয়ে বেশি ভুল করে?

SQL-এর GROUP BY জানলে এটা চেনা লাগবে — হুবহু একই ধারণা।

সাধারণ aggregation

main.py

import pandas as pd

sales = pd.DataFrame({
    "city": ["Dhaka", "Sylhet", "Dhaka", "Khulna", "Dhaka", "Sylhet"],
    "product": ["phone", "laptop", "laptop", "phone", "phone", "phone"],
    "amount": [25000, 85000, 92000, 22000, 27000, 24000],
})

print(sales.groupby("city")["amount"].sum())
print(sales.groupby("city")["amount"].mean().round())
print(sales.groupby("city").size())
print(sales.groupby(["city", "product"])["amount"].sum())

একাধিক column দিয়ে group করলে প্রতিটা জোড়ার জন্য আলাদা হিসাব।

agg: একসাথে অনেক হিসাব

main.py

import pandas as pd

sales = pd.DataFrame({
    "city": ["Dhaka", "Sylhet", "Dhaka", "Khulna", "Dhaka", "Sylhet"],
    "amount": [25000, 85000, 92000, 22000, 27000, 24000],
})

report = sales.groupby("city").agg(
    orders=("amount", "count"),
    total=("amount", "sum"),
    average=("amount", "mean"),
    biggest=("amount", "max"),
)
print(report.sort_values("total", ascending=False))

Named aggregation — নতুন_নাম=("column", "function")। ফলাফলের column-এর নাম তুমি নিজে ঠিক করো, পরিষ্কার report।

reset_index: group key-কে column বানানো

main.py

import pandas as pd

sales = pd.DataFrame({"city": ["Dhaka", "Sylhet", "Dhaka"], "amount": [100, 200, 300]})
totals = sales.groupby("city")["amount"].sum().reset_index()
print(totals)
print(totals.columns.tolist())

transform: দলের মান প্রতিটা row-এ

প্রতিটা student-এর CGPA তার নিজের department-এর গড় থেকে কত দূরে?

main.py

import pandas as pd

students = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Rina", "Karim"],
    "dept": ["CSE", "EEE", "CSE", "EEE", "CSE"],
    "cgpa": [3.4, 3.9, 3.7, 3.2, 3.55],
})

students["dept_avg"] = students.groupby("dept")["cgpa"].transform("mean")
students["vs_dept"] = (students["cgpa"] - students["dept_avg"]).round(2)
print(students)

transform মূল DataFrame-এর সমান দৈর্ঘ্যের ফলাফল দেয় — তাই সরাসরি নতুন column হিসেবে বসানো যায়।

Exercise

Department-এর গড় CGPA

+20 XP

students থেকে:

avg_cgpa — প্রতিটা department-এর গড় CGPA, 2 ঘর দশমিকে round, একটা dict ({"CSE": ..., ...})
biggest_dept — সবচেয়ে বেশি student যে department-এ, তার নাম

solution.py

import pandas as pd

students = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim", "Rina", "Sakib"],
    "dept": ["CSE", "EEE", "CSE", "ME", "CSE", "EEE", "ME"],
    "cgpa": [3.4, 3.9, 3.7, 3.1, 3.55, 3.2, 3.6],
})

avg_cgpa = None
biggest_dept = None

print(avg_cgpa)
print(biggest_dept)

Quiz

Q1df.groupby("city")["sales"].sum()-এর ফলাফলের index কী?
0, 1, 2…প্রতিটা আলাদা city-র নামsales-এর মান
Q2groupby(...).transform("mean") আর groupby(...).mean()-এর পার্থক্য কী?
কোনো পার্থক্য নেইmean() প্রতিটা দলের জন্য একটা row দেয়; transform মূল DataFrame-এর প্রতিটা row-এ তার দলের গড় বসিয়ে মূলের সমান দৈর্ঘ্যের Series দেয়transform শুধু text-এ কাজ করে
Q3groupby("dept").size() আর groupby("dept").count()-এর পার্থক্য কী?
কোনো পার্থক্য নেইsize missing সহ সব row গোনে (একটা Series); count প্রতিটা column-এর non-missing মান গোনে (একটা DataFrame)count দ্রুত

0/3 answered

Challenge

Department report

+50 XP

dept_report(df) function লেখো যেটা প্রতিটা department-এর একটা report DataFrame return করে:

Index: department-এর নাম
students — কতজন
avg_cgpa — গড় CGPA, 2 ঘর দশমিকে round
topper — সবচেয়ে বেশি CGPA পাওয়া student-এর নাম
Row-গুলো avg_cgpa অনুযায়ী বেশি থেকে কম

solution.py

import pandas as pd


def dept_report(df):
    pass


students = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim", "Rina", "Sakib"],
    "dept": ["CSE", "EEE", "CSE", "ME", "CSE", "EEE", "ME"],
    "cgpa": [3.4, 3.9, 3.7, 3.1, 3.55, 3.2, 3.6],
})
print(dept_report(students))

বাস্তবে কোথায় ব্যবহার হয়?

Target encoding / aggregate feature — ML-এর একটা শক্তিশালী feature engineering কৌশল। Customer-এর নিজের তথ্যের পাশাপাশি তার শহরের গড় আচরণ:

main.py

import pandas as pd

orders = pd.DataFrame({
    "customer": ["c1", "c2", "c3", "c4", "c5", "c6"],
    "city": ["Dhaka", "Dhaka", "Sylhet", "Sylhet", "Dhaka", "Khulna"],
    "amount": [1200, 800, 3000, 2600, 1000, 500],
})

orders["city_avg"] = orders.groupby("city")["amount"].transform("mean")
orders["city_orders"] = orders.groupby("city")["amount"].transform("size")
orders["vs_city"] = (orders["amount"] / orders["city_avg"]).round(2)
print(orders)

vs_city > 1 মানে customer তার শহরের গড়ের চেয়ে বেশি খরচ করেন — একটা "premium customer" signal। Kaggle competition-এ জেতা solution-গুলোতে এমন groupby feature প্রায় সবসময় থাকে।

সাবধান: training-এ এমন feature বানানোর সময় target (যা predict করতে চাও) দিয়ে groupby করলে data leakage হতে পারে। শুধু input feature দিয়ে বানাও, বা cross-validation-এর ভেতরে।

Interview প্রশ্ন

Beginner: groupby কী? "Split-Apply-Combine" কী?
Intermediate: agg, transform আর apply-এর পার্থক্য কী?
Advanced: Target encoding কী? এতে data leakage কীভাবে হয় আর কীভাবে এড়াবে?

এরপর কী?

এক table-এর প্রশ্ন শেষ। কিন্তু real data প্রায়ই একাধিক table-এ — orders এক file-এ, customers আরেকটায়। পরের lesson: Merge ও Join।