Python for AI/Pandas/Lesson 46

Missing Data

NaN খুঁজে বের করা (isna), কতটা missing তা মাপা, বাদ দেওয়া (dropna) বনাম পূরণ করা (fillna — median, mode, ffill) — আর কোনটা কখন, কেন।

সময়: 24 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Real data-তে প্রায় সবসময় কিছু ঘর খালি — form-এ কেউ বয়স লেখেনি, sensor কাজ করেনি, দুটো file মেলাতে গিয়ে মিল পাওয়া যায়নি। Pandas এগুলোকে দেখায় NaN (Not a Number) বা None হিসেবে।

main.py

import numpy as np
import pandas as pd

df = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat"],
    "age": [22, np.nan, 25, np.nan],
    "city": ["Dhaka", "Sylhet", None, "Khulna"],
})

print(df)
print(df.isna())
print(df.isna().sum())

কেন দরকার?

বেশিরভাগ ML model (scikit-learn-এর অনেকগুলো) NaN পেলে সরাসরি error দেয়
NaN একটা হিসাবে ঢুকলে পুরো ফলাফল NaN — যোগফল, গড় সব নষ্ট
আর কতটা data missing, কেন missing — এটা নিজেই গুরুত্বপূর্ণ তথ্য

কতটা missing?

main.py

import numpy as np
import pandas as pd

df = pd.DataFrame({
    "age": [22, np.nan, 25, np.nan, 40, 31],
    "income": [np.nan, np.nan, np.nan, np.nan, 50000, np.nan],
    "city": ["Dhaka", "Sylhet", None, "Khulna", "Dhaka", "Dhaka"],
})

report = pd.DataFrame({
    "missing": df.isna().sum(),
    "percent": (df.isna().mean() * 100).round(1),
})
print(report)

income-এর ৮৩% missing — এই column থেকে model প্রায় কিছুই শিখবে না। সাধারণ নিয়ম: অনেক বেশি missing (যেমন ৫০%-এর বেশি) column বাদ দেওয়ার কথা ভাবো।

সমাধান ১: বাদ দেওয়া (dropna)

main.py

import numpy as np
import pandas as pd

df = pd.DataFrame({
    "age": [22, np.nan, 25, 31],
    "city": ["Dhaka", "Sylhet", None, "Dhaka"],
    "label": [1, 0, 1, np.nan],
})

print(df.dropna())
print(df.dropna(subset=["label"]))
print(df.dropna(axis=1))

লেখা	কী বাদ যায়
`dropna()`	যেকোনো missing আছে এমন row
`dropna(subset=["label"])`	শুধু label missing এমন row
`dropna(axis=1)`	missing আছে এমন column

সহজ, কিন্তু data হারায়। ১০০০ row-এর প্রতিটা column-এ ৫% করে missing হলে dropna()-এর পর হয়তো অর্ধেক data-ও থাকবে না।

সমাধান ২: পূরণ করা (fillna)

main.py

import numpy as np
import pandas as pd

df = pd.DataFrame({
    "age": [22, np.nan, 25, np.nan, 90],
    "city": ["Dhaka", "Sylhet", None, "Dhaka", "Dhaka"],
})

print("mean:  ", df["age"].mean())
print("median:", df["age"].median())

filled = df.fillna({
    "age": df["age"].median(),
    "city": df["city"].mode()[0],
})
print(filled)

Data	কী দিয়ে পূরণ	কেন
সংখ্যা, outlier নেই	mean
সংখ্যা, outlier আছে	median	outlier-এ প্রভাবিত হয় না
Category (text)	mode (সবচেয়ে common)
সময়ের ধারা (দৈনিক দাম)	ffill (আগের মান)	কাল যা ছিল, আজও সম্ভবত কাছাকাছি
Missing নিজেই তথ্য	`"unknown"` বা আলাদা flag column

ffill: সময়ের data

main.py

import numpy as np
import pandas as pd

prices = pd.Series([100, 102, np.nan, np.nan, 108, np.nan],
                   index=pd.date_range("2026-01-01", periods=6))
print(prices.ffill())

Missing নিজেই একটা feature

main.py

import numpy as np
import pandas as pd

df = pd.DataFrame({"income": [50000, np.nan, 72000, np.nan]})
df["income_missing"] = df["income"].isna().astype(int)
df["income"] = df["income"].fillna(df["income"].median())
print(df)

হয়তো যারা income লেখেনি তাদের loan default করার সম্ভাবনা বেশি — তখন "missing ছিল কিনা" model-এর জন্য দরকারি তথ্য। পূরণ করে ফেললে তথ্যটা হারিয়ে যেত।

Exercise

Missing report আর পূরণ

+20 XP

df-এ কিছু ঘর খালি।

missing — প্রতিটা column-এ কতগুলো missing, একটা dict ({"name": 0, ...})
filled — একটা নতুন DataFrame যেখানে age-এর missing মান age-এর median দিয়ে পূরণ করা (বাকি column যেমন ছিল)

মূল df বদলাবে না।

solution.py

import numpy as np
import pandas as pd

df = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat", "Karim"],
    "age": [22, np.nan, 25, np.nan, 40],
    "city": ["Dhaka", "Sylhet", None, "Khulna", "Dhaka"],
})

missing = None
filled = None

print(missing)
print(filled)

Quiz

Q1df["age"] == np.nan দিয়ে missing খোঁজা যায় না কেন?
এটা কাজ করেNaN কোনো কিছুর সমান না, এমনকি নিজেরও না — np.nan == np.nan হলো False। isna() ব্যবহার করতে হয়== Series-এ কাজ করে না
Q2Salary column-এর missing পূরণে mean-এর বদলে median কেন প্রায়ই ভালো?
Median দ্রুত হিসাব হয়Median outlier-এ (যেমন একজনের বিশাল salary) প্রভাবিত হয় নাMean NaN দেয়
Q3Test data-র missing মান পূরণ করতে কোন median ব্যবহার করবে?
Test data-র নিজের medianTraining data-র medianপুরো dataset-এর median

0/3 answered

Challenge

Model-এর জন্য dataset পরিষ্কার

+50 XP

clean(df, target) function লেখো যেটা একটা dataset model-ready বানায়:

যেসব row-এ target missing — বাদ (label ছাড়া sample দিয়ে শেখা যায় না)
সংখ্যার column-এর missing → সেই column-এর median
বাকি (text) column-এর missing → সেই column-এর সবচেয়ে বেশি আসা মান (mode)
Index 0 থেকে নতুন করে

ফলাফলে কোনো missing থাকবে না, আর মূল df বদলাবে না।

solution.py

import numpy as np
import pandas as pd


def clean(df, target):
    pass


df = pd.DataFrame({
    "area": [1400, np.nan, 2100, 1200, 900],
    "city": ["Dhaka", "Dhaka", None, "Sylhet", "Dhaka"],
    "price": [85, 60, 140, np.nan, 52],
})
print(clean(df, "price"))

বাস্তবে কোথায় ব্যবহার হয়?

Train-এর পরিসংখ্যান দিয়ে test পূরণ — real ML pipeline-এর সঠিক উপায় (scikit-learn-এর SimpleImputer ঠিক এটাই করে):

main.py

import numpy as np
import pandas as pd

train = pd.DataFrame({"age": [22, 25, np.nan, 31, 60, np.nan]})
test = pd.DataFrame({"age": [np.nan, 45, np.nan]})

fill_value = train["age"].median()
print("train-এর median:", fill_value)

train_filled = train.fillna({"age": fill_value})
test_filled = test.fillna({"age": fill_value})
print(test_filled)

Test-এর নিজের median (45) দিয়ে পূরণ করলে model "ভবিষ্যৎ" থেকে তথ্য পেয়ে যেত। Real deployment-এ নতুন user এলে তার জন্য test-এর median জানা থাকে না — শুধু training-এর পরিসংখ্যানই থাকে।

Interview প্রশ্ন

Beginner: Missing value খুঁজতে আর গুনতে কোন method?
Intermediate: কখন row বাদ দেবে আর কখন পূরণ করবে? Mean বনাম median বনাম mode?
Advanced: MCAR, MAR, MNAR কী? Missingness-এর ধরন imputation-এর পদ্ধতি বাছাইয়ে কীভাবে প্রভাব ফেলে?

এরপর কী?

Data পরিষ্কার। এখন প্রশ্ন করার পালা — "প্রতিটা department-এর গড় CGPA কত?", "কোন শহরে বিক্রি সবচেয়ে বেশি?" পরের lesson: GroupBy।