Filtering

শর্ত দিয়ে row বাছাই — & আর | দিয়ে একাধিক শর্ত, isin, between, str.contains দিয়ে text খোঁজা, sort_values আর nlargest।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

NumPy-র boolean mask মনে আছে? Pandas-এ হুবহু একই:

main.py

import pandas as pd

df = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat"],
    "city": ["Dhaka", "Sylhet", "Dhaka", "Khulna"],
    "age": [22, 17, 25, 30],
})

adults = df["age"] >= 18
print(adults)
print(df[adults])

শর্ত → True/False-এর Series → সেটা দিয়ে index → শুধু True row-গুলো।

কেন দরকার?

Data cleaning: অসম্ভব মান (বয়স -5, দাম 0) বাদ দেওয়া
Analysis: "Dhaka-র ২৫ বছরের নিচের customer-রা কত খরচ করে?"
Error analysis: "model যেগুলো ভুল করেছে, সেগুলো দেখাও"
Dataset ভাগ: শুধু নির্দিষ্ট সময় বা অঞ্চলের data দিয়ে model

একাধিক শর্ত

main.py

import pandas as pd

df = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim"],
    "city": ["Dhaka", "Sylhet", "Dhaka", "Khulna", "Dhaka"],
    "age": [22, 17, 25, 30, 16],
})

print(df[(df["city"] == "Dhaka") & (df["age"] >= 18)])
print(df[(df["city"] == "Sylhet") | (df["age"] < 18)])
print(df[~(df["city"] == "Dhaka")])

Python	Pandas	মানে
`and`	`&`	দুটোই
`or`	`\|`	যেকোনো একটা
`not`	`~`	উল্টো

প্রতিটা শর্ত bracket-এ রাখো। df["age"] >= 18 & df["city"] == "Dhaka" ভুল ফলাফল দেয়, কারণ & আগে হিসাব হয়।

দরকারি filter method

main.py

import pandas as pd

df = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim"],
    "city": ["Dhaka", "Sylhet", "Dhaka", "Khulna", "Rajshahi"],
    "age": [22, 17, 25, 30, 16],
    "email": ["rafi@gmail.com", "mim@yahoo.com", "tanvir@gmail.com", "nusrat@outlook.com", "karim@gmail.com"],
})

print(df[df["city"].isin(["Dhaka", "Khulna"])])
print(df[df["age"].between(18, 25)])
print(df[df["email"].str.endswith("@gmail.com")]["name"].tolist())
print(df[df["name"].str.contains("a", case=False)]["name"].tolist())

Method	উদাহরণ
`isin(list)`	city এই তালিকার একটা কিনা
`between(a, b)`	a থেকে b (দুই প্রান্ত সহ)
`.str.contains(text)`	text-এর ভেতরে আছে কিনা
`.str.startswith` / `.str.endswith`	শুরু / শেষ মেলে কিনা

.str দিয়ে পুরো column-এ string method — Python-এর string-এর সব method এভাবে vectorized পাওয়া যায়।

sort_values আর nlargest

main.py

import pandas as pd

df = pd.DataFrame({
    "product": ["Keyboard", "Mouse", "Monitor", "Cable", "Webcam"],
    "category": ["input", "input", "display", "misc", "video"],
    "price": [1500, 450, 18000, 200, 3200],
})

print(df.sort_values("price", ascending=False))
print(df.sort_values(["category", "price"]))
print(df.nlargest(2, "price"))
print(df.nsmallest(2, "price"))

একাধিক column দিয়ে sort — প্রথমে category, একই category-তে দাম অনুযায়ী।

query: পড়তে সহজ বিকল্প

main.py

import pandas as pd

df = pd.DataFrame({"city": ["Dhaka", "Sylhet", "Dhaka"], "age": [22, 17, 25]})
min_age = 18
print(df.query("city == 'Dhaka' and age >= @min_age"))

query-তে সাধারণ and/or লেখা যায়, আর @ দিয়ে বাইরের variable।

Exercise

Internship shortlist

+20 XP

students থেকে internship-এর জন্য shortlist বানাও:

dept CSE বা EEE
cgpa 3.5 বা বেশি

shortlist = শর্ত মানা student-দের নামের list, cgpa অনুযায়ী বেশি থেকে কম সাজানো।

solution.py

import pandas as pd

students = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim", "Rina"],
    "dept": ["CSE", "EEE", "CSE", "ME", "CSE", "EEE"],
    "cgpa": [3.4, 3.9, 3.7, 3.95, 3.55, 3.2],
})

shortlist = None

print(shortlist)

Quiz

Q1df[df["age"] > 18 and df["city"] == "Dhaka"] কেন error দেয়?
Column-এর নাম ভুলand পুরো Series-কে একটা True/False বানাতে চায় — অস্পষ্ট। Element-wise শর্তে & লাগে, প্রতিটা শর্ত bracket-এ> Series-এ কাজ করে না
Q2df["city"].isin(["Dhaka", "Sylhet"]) কী করে?
প্রতিটা row-এর city এই list-এর কোনো একটা কিনা — True/Falsecity column-এ এই দুটো মান বসায়শুধু প্রথম মিল খোঁজে
Q3সবচেয়ে বেশি দামের ৩টা product — সবচেয়ে সরাসরি উপায়?
df.sort_values("price").head(3)df.nlargest(3, "price")df.max("price", 3)

0/3 answered

Challenge

Product search

+50 XP

একটা e-commerce site-এর search। search(products, keyword, max_price) function লেখো:

নামে keyword আছে এমন product (বড়-ছোট হাতের অক্ষর নির্বিশেষে)
দাম max_price বা কম
দাম অনুযায়ী কম থেকে বেশি সাজানো
Return: শুধু name আর price column-ওয়ালা DataFrame, index 0 থেকে নতুন করে

solution.py

import pandas as pd


def search(products, keyword, max_price):
    pass


products = pd.DataFrame({
    "name": ["Gaming Mouse", "Wireless mouse", "Mouse Pad", "Keyboard", "MOUSE Bundle"],
    "price": [2500, 1200, 300, 1800, 3500],
    "stock": [5, 0, 30, 12, 2],
})
print(search(products, "mouse", 3000))

বাস্তবে কোথায় ব্যবহার হয়?

Outlier ধরা — model train করার আগে অস্বাভাবিক মান খুঁজে বের করা। IQR পদ্ধতি, statistics-এর একটা standard কৌশল:

main.py

import pandas as pd

salaries = pd.DataFrame({
    "name": ["A", "B", "C", "D", "E", "F", "G", "H"],
    "salary": [35000, 42000, 38000, 51000, 47000, 39000, 950000, 44000],
})

q1, q3 = salaries["salary"].quantile([0.25, 0.75])
iqr = q3 - q1
low, high = q1 - 1.5 * iqr, q3 + 1.5 * iqr

outliers = salaries[(salaries["salary"] < low) | (salaries["salary"] > high)]
print(f"স্বাভাবিক সীমা: {low:,.0f} – {high:,.0f}")
print(outliers)

clean = salaries[salaries["salary"].between(low, high)]
print(f"গড় (সব):      {salaries['salary'].mean():,.0f}")
print(f"গড় (পরিষ্কার): {clean['salary'].mean():,.0f}")

একটা ৯,৫০,০০০ টাকার salary (হয়তো typo, হয়তো CEO) পুরো গড়টাকে প্রায় তিনগুণ করে দিয়েছে। Outlier ঠিকমতো না সামলালে model-ও এভাবে বিভ্রান্ত হয়।

Interview প্রশ্ন

Beginner: Pandas-এ দুটো শর্ত কীভাবে মেলাবে?
Intermediate: isin, between, str.contains — কোনটা কখন?
Advanced: Outlier সবসময় বাদ দেওয়া কি ঠিক? Fraud detection-এ outlier-এর ভূমিকা কী?

এরপর কী?

Real data-র সবচেয়ে বড় মাথাব্যথা — missing value। কিছু ঘর খালি, model সেগুলো নিতে পারে না। পরের lesson: Missing Data।