Python for AI/Project: Student Performance Analysis/Lesson 55

Project: Data Cleaning

সমস্যার তালিকা থেকে cleaning-এর নিয়ম — duplicate, বানান, অসম্ভব মান, missing — প্রতিটা সিদ্ধান্তের যুক্তি, আর সব মিলিয়ে একটা পুনর্ব্যবহারযোগ্য clean() function।

সময়: 28 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

আগের lesson-এর সমস্যার তালিকা থেকে এবার প্রতিটার জন্য একটা নিয়ম। প্রতিটা নিয়মের পেছনে একটা যুক্তি থাকতে হবে — "কেন এভাবে, অন্যভাবে না"। Data cleaning আসলে অনেকগুলো ছোট সিদ্ধান্ত, আর সেগুলো analysis-এর ফলাফলকে প্রভাবিত করে।

কেন দরকার?

Cleaning ছাড়া analysis করলে কী হয়, দেখো:

main.py

import pandas as pd

df = pd.read_csv("students.csv")
df["avg"] = df[["math", "science", "english"]].mean(axis=1)

print(df.groupby("district")["avg"].mean().round(1))

৩৩টা "district"! dhaka আর Dhaka আলাদা দল, প্রতিটার গড় অল্প কয়েকজনের ওপর — অর্থহীন। Data scientist-দের সময়ের বড় অংশ (জরিপে প্রায়ই ৫০%-এর বেশি বলা হয়) এই কাজেই যায়।

নিয়ম ১: Duplicate

main.py

import pandas as pd

df = pd.read_csv("students.csv")
print("আগে:", len(df), "| duplicate:", df.duplicated().sum())

df = df.drop_duplicates().reset_index(drop=True)
print("পরে:", len(df), "| একই ID:", df["student_id"].duplicated().sum())

যুক্তি: হুবহু একই row মানে একই form দুবার জমা — একজন student দুবার গোনা হলে তার প্রভাব দ্বিগুণ। পরে student_id চেক করে নিশ্চিত হলাম কোনো ID আর দুবার নেই।

নিয়ম ২: District-এর বানান

main.py

import pandas as pd

df = pd.read_csv("students.csv").drop_duplicates()
print(df["district"].nunique(), "রকম লেখা")

df["district"] = df["district"].str.strip().str.title()
print(df["district"].nunique(), "টা district:", sorted(df["district"].unique()))

যুক্তি: space আর বড়-ছোট হাতের অক্ষর অর্থ বদলায় না। (Real data-য় বানান ভুলও থাকে — "Chittagong" বনাম "Chattogram" — তখন একটা mapping dictionary লাগে।)

নিয়ম ৩: অসম্ভব attendance

main.py

import numpy as np
import pandas as pd

df = pd.read_csv("students.csv").drop_duplicates().reset_index(drop=True)
print(df.loc[df["attendance"] > 100, ["student_id", "attendance"]])

df.loc[df["attendance"] > 100, "attendance"] = np.nan
median = df["attendance"].median()
df["attendance"] = df["attendance"].fillna(median)
print("median দিয়ে পূরণ:", median, "| এখন max:", df["attendance"].max())

যুক্তি: ১৫০% সম্ভব না, কিন্তু আসলে কত ছিল জানি না — তাই "অজানা" (missing) ধরে নিলাম। 100 বসালে ভুলকে নিশ্চিত তথ্য বানানো হতো। আর row মুছলে বাকি সঠিক তথ্য হারাতাম।

নিয়ম ৪: Study hours — দলভিত্তিক পূরণ

main.py

import pandas as pd

df = pd.read_csv("students.csv").drop_duplicates().reset_index(drop=True)
print(df.groupby("school_type")["study_hours"].median())

group_median = df.groupby("school_type")["study_hours"].transform("median")
df["study_hours"] = df["study_hours"].fillna(group_median)
print("এখন missing:", df["study_hours"].isna().sum())

যুক্তি: পুরো dataset-এর একটা median-এর চেয়ে নিজের দলের median বেশি বাস্তবসম্মত অনুমান। (এখানে দুটো দলের median কাছাকাছি — কিন্তু real data-য় প্রায়ই অনেক পার্থক্য থাকে। Pandas lesson-এর transform এখানে কাজে লাগল।)

নিয়ম ৫ ও ৬: নম্বর

main.py

import pandas as pd

SCORES = ["math", "science", "english"]
df = pd.read_csv("students.csv").drop_duplicates().reset_index(drop=True)

no_scores = df[SCORES].isna().all(axis=1)
print("কোনো নম্বরই নেই:", no_scores.sum())
df = df[~no_scores].reset_index(drop=True)

print("আংশিক missing:", df[SCORES].isna().sum().to_dict())
df = df.fillna({col: df[col].median() for col in SCORES})
print("এখন:", df[SCORES].isna().sum().to_dict())

যুক্তি:

তিনটাই missing — এই student-এর ফলাফল নিয়ে আমাদের কোনো তথ্যই নেই, আর আমাদের সব প্রশ্ন ফলাফল নিয়ে। বাদ।
একটা missing — বাকি তথ্য মূল্যবান, তাই রাখলাম; subject-এর median দিয়ে পূরণ।

সীমাবদ্ধতা লিখে রাখো: median দিয়ে পূরণ করলে data-র বৈচিত্র্য একটু কমে (অনেকগুলো একই মান)। এখানে মাত্র ~২% নম্বর missing, তাই প্রভাব সামান্য। ৩০% হলে অন্য পদ্ধতি ভাবতে হতো। ভালো analyst সিদ্ধান্তের সাথে তার সীমাবদ্ধতাও লেখে।

নিয়ম ৭ ও ৮: নতুন column

main.py

import pandas as pd

df = pd.read_csv("students_clean.csv")
print(df[["math", "science", "english", "avg_score", "passed"]].head())
print("pass rate:", f"{df['passed'].mean():.1%}")

students_clean.csv হলো এই সব নিয়ম প্রয়োগের ফলাফল — platform-এ আগে থেকে আছে। Challenge-এ তোমার নিজের clean() function দিয়ে হুবহু এটাই বানাতে হবে।

Exercise

Duplicate আর district ঠিক করো

+20 XP

students.csv load করে df বানাও, তারপর:

হুবহু duplicate row বাদ দাও, index নতুন করে বসাও
district-এর আগে-পরের space কাটো আর Title Case করো

শেষে district_counts = প্রতিটা district-এ কতজন, একটা dict।

solution.py

import pandas as pd

df = pd.read_csv("students.csv")

district_counts = None

print(len(df))
print(district_counts)

Quiz

Q1Attendance ১৫০% — এটা কী করা উচিত?
100 করে দাওmissing ধরে নাও, তারপর অন্য missing-এর মতো পূরণ করো — কারণ আসল মান কত ছিল আমরা জানি নাপুরো row মুছে ফেলো
Q2Study hours পূরণে পুরো dataset-এর বদলে school_type-ভিত্তিক median কেন?
দ্রুত হিসাব হয়Govt আর Private school-এর student-দের পড়ার অভ্যাস আলাদা হতে পারে — দলের median বেশি বাস্তবসম্মত অনুমানPandas-এর নিয়ম
Q3Cleaning code একটা function-এ রাখার সবচেয়ে বড় সুবিধা কী?
Code ছোট হয়নতুন data (পরের বছরের survey) এলে একই নিয়মে আবার চালানো যায় — reproducible, আর কেউ জানতে পারে ঠিক কী বদলানো হয়েছিলদ্রুত চলে

0/3 answered

Challenge

সম্পূর্ণ clean() function

+50 XP

Lesson-এ আলোচিত সব নিয়ম মিলিয়ে clean(raw) function লেখো। এই ক্রমে:

হুবহু duplicate row বাদ, index নতুন করে
district — strip আর Title Case
attendance 100-এর বেশি → missing; তারপর সব missing attendance → attendance-এর median
study_hours missing → একই `school_type`-এর median
তিনটা নম্বরই (math, science, english) missing এমন row বাদ, index নতুন করে
বাকি missing নম্বর → সেই subject-এর median
নতুন column avg_score — তিনটা নম্বরের গড়, 1 ঘর দশমিকে round
নতুন column passed — avg_score 40 বা বেশি হলে True

তোমার ফলাফল platform-এর students_clean.csv-এর সাথে হুবহু মিলতে হবে। মূল raw বদলাবে না।

solution.py

import numpy as np
import pandas as pd

SCORES = ["math", "science", "english"]


def clean(raw):
    pass


raw = pd.read_csv("students.csv")
cleaned = clean(raw)
print(cleaned.shape if cleaned is not None else None)

বাস্তবে কোথায় ব্যবহার হয়?

তুমি যে clean() function বানালে, সেটা real project-এর একটা গুরুত্বপূর্ণ অংশ — একে বলে data pipeline। পরের বছর NGO নতুন survey করলে:

new_raw = pd.read_csv("students_2027.csv")
new_clean = clean(new_raw)        <- একই নিয়ম, এক লাইনে

Excel-এ হাতে ঠিক করলে প্রতি বছর আবার সব করতে হতো — আর কেউ জানত না ঠিক কী কী বদলানো হয়েছিল। Code-ই documentation। ML-এ ঠিক এই কারণেই training আর prediction-এ একই preprocessing function ব্যবহার করা হয় — নাহলে model যে data-য় শিখেছে আর যে data-য় prediction করছে, দুটো আলাদা হয়ে যায় (training-serving skew)।

Interview প্রশ্ন

Beginner: Missing value-ওয়ালা row কখন বাদ দেবে আর কখন পূরণ করবে?
Intermediate: অসম্ভব মান (যেমন বয়স −৫, attendance ১৫০%) কীভাবে সামলাবে? কেন clip করা সবসময় ঠিক না?
Advanced: Training-serving skew কী? Cleaning logic কীভাবে লিখলে এটা এড়ানো যায়?

এরপর কী?

পরিষ্কার dataset তৈরি — ৩৯৭ জন student, কোনো missing নেই। এবার আসল কাজ: NGO-র প্রশ্নগুলোর উত্তর খোঁজা, graph আঁকা, আর সিদ্ধান্তে পৌঁছানো। শেষ lesson: Insights ও Visualization।