DataFrame

Pandas-এর table — dictionary থেকে তৈরি, shape/columns/dtypes দেখা, head আর describe, নতুন column যোগ, rename আর drop।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

DataFrame হলো একটা table — row আর column। প্রতিটা column আসলে একটা Series, সবগুলো একই index শেয়ার করে।

main.py

import pandas as pd

df = pd.DataFrame({
    "name": ["Rafi", "Mim", "Tanvir"],
    "dept": ["CSE", "EEE", "CSE"],
    "cgpa": [3.4, 3.9, 3.7],
})

print(df)
print(type(df["cgpa"]))

         column ->   name    dept   cgpa
index    0           Rafi    CSE    3.4     <- একটা row (একজন student)
  |      1           Mim     EEE    3.9
  v      2           Tanvir  CSE    3.7

কেন দরকার?

ML-এর প্রায় সব structured data দেখতে এরকম: প্রতিটা row একটা sample (একজন customer, একটা বাড়ি, একটা transaction), প্রতিটা column একটা feature। scikit-learn সরাসরি DataFrame নেয়।

প্রথম দেখা: dataset-এর পরিচয়

নতুন dataset পেলেই এই কয়টা কাজ:

main.py

import pandas as pd

df = pd.DataFrame({
    "area": [1400, 900, 2100, 1200, 1750, 800],
    "rooms": [3, 2, 4, 3, 3, 2],
    "city": ["Dhaka", "Sylhet", "Dhaka", "Khulna", "Dhaka", "Sylhet"],
    "price": [85, 52, 140, 61, 110, 40],
})

print(df.shape)
print(df.columns.tolist())
print(df.dtypes)
print(df.head(3))
print(df.describe())

Method	কী দেখায়
`df.shape`	(row, column) সংখ্যা
`df.columns`	column-এর নাম
`df.dtypes`	প্রতিটা column-এর type
`df.head(n)` / `df.tail(n)`	প্রথম/শেষ n row
`df.describe()`	সংখ্যার column-গুলোর পরিসংখ্যান
`df.info()`	type + কতগুলো missing নয়

Column নিয়ে কাজ

main.py

import pandas as pd

df = pd.DataFrame({
    "area": [1400, 900, 2100],
    "price": [85, 52, 140],
})

print(df["price"])
print(df[["area", "price"]])

df["price_per_sqft"] = df["price"] * 100000 / df["area"]
df["size"] = "medium"
print(df.round(1))

নতুন column যোগ করা মানে শুধু একটা নতুন নামে assign — হিসাব পুরো column-এ একবারে (vectorized)।

rename আর drop

main.py

import pandas as pd

df = pd.DataFrame({"Area (sqft)": [1400, 900], "Price": [85, 52], "id": [1, 2]})

df = df.rename(columns={"Area (sqft)": "area", "Price": "price"})
df = df.drop(columns=["id"])
print(df)

Column-এর নাম ছোট হাতের, space ছাড়া (snake_case) রাখলে পরে কাজ সহজ। Real dataset-এর প্রথম পরিষ্কারের কাজ প্রায়ই এটাই।

খেয়াল করো df = df.rename(...) — Pandas-এর বেশিরভাগ method মূল DataFrame বদলায় না, নতুন একটা return করে।

DataFrame বানানোর আরও উপায়

main.py

import pandas as pd

rows = [
    {"name": "Rafi", "cgpa": 3.4},
    {"name": "Mim", "cgpa": 3.9},
]
print(pd.DataFrame(rows))

import numpy as np
arr = np.arange(6).reshape(3, 2)
print(pd.DataFrame(arr, columns=["x", "y"]))

Dictionary-র list থেকে বানানো খুব common — API response বা JSON থেকে আসা data এভাবেই আসে।

Exercise

Marksheet বানাও

+20 XP

data dictionary থেকে df নামে একটা DataFrame বানাও। তারপর:

total নামে নতুন column — math আর physics-এর যোগফল
passed নামে column — total 120 বা বেশি হলে True
n_passed — কতজন pass করেছে (একটা int)

solution.py

import pandas as pd

data = {
    "name": ["Rafi", "Mim", "Tanvir", "Nusrat"],
    "math": [72, 90, 45, 81],
    "physics": [65, 78, 52, 60],
}

df = None
n_passed = None

print(df)
print(n_passed)

Quiz

Q1df.shape যদি (1000, 8) হয়, তাহলে কী বোঝায়?
1000 column, 8 row1000 row (sample), 8 column (feature)8000 cell, ১টা column
Q2df["price"] আর df[["price"]]-এর পার্থক্য কী?
কোনো পার্থক্য নেইএক bracket → Series; দুই bracket (column-এর list) → এক column-এর DataFrameদ্বিতীয়টা error
Q3df.drop(columns=["id"]) চালানোর পর df-এ কি id column আছে?
না, মুছে গেছেহ্যাঁ — drop একটা নতুন DataFrame return করে; মূলটা বদলায় না যদি না df = df.drop(...) লেখো

0/3 answered

Challenge

Dataset-এর সারাংশ

+50 XP

নতুন একটা dataset হাতে পেলে প্রথম কাজ — এটা কেমন দেখতে? summarize(df) function লেখো যেটা একটা dict return করে:

"rows" — row সংখ্যা
"cols" — column সংখ্যা
"numeric" — সংখ্যার column-গুলোর নাম (list, df-এর ক্রমে)
"means" — প্রতিটা সংখ্যার column-এর গড়, 2 ঘর দশমিকে round (dict)

solution.py

import pandas as pd


def summarize(df):
    pass


df = pd.DataFrame({
    "city": ["Dhaka", "Sylhet", "Khulna"],
    "area": [1400, 900, 2100],
    "price": [85.5, 52.0, 140.25],
})
print(summarize(df))

বাস্তবে কোথায় ব্যবহার হয়?

ML-এর জন্য data প্রস্তুত — feature engineering দিয়ে নতুন column, তারপর model-এর জন্য X আর y:

main.py

import pandas as pd

houses = pd.DataFrame({
    "area": [1400, 900, 2100, 1200],
    "rooms": [3, 2, 4, 3],
    "built": [2015, 2000, 2020, 2008],
    "price": [85, 52, 140, 61],
})

houses["age"] = 2026 - houses["built"]
houses["area_per_room"] = houses["area"] / houses["rooms"]

features = ["area", "rooms", "age", "area_per_room"]
X = houses[features]
y = houses["price"]

print(X.round(1))
print("X:", X.shape, " y:", y.shape)

age আর area_per_room — মূল data-তে ছিল না, আমরা বানালাম। ভালো feature বানানো প্রায়ই নতুন model-এর চেয়ে বেশি উন্নতি আনে।

Interview প্রশ্ন

Beginner: Series আর DataFrame-এর পার্থক্য কী?
Intermediate: df.describe() থেকে data সম্পর্কে কী কী সমস্যা ধরা যায়? (যেমন অস্বাভাবিক min/max, outlier)
Advanced: Pandas 3.0-এর Copy-on-Write কী, আর এটা inplace=True-এর ব্যবহারকে কীভাবে বদলেছে?

এরপর কী?

Data হাতে লিখে DataFrame বানানো real-world-এ হয় না — data আসে file থেকে। পরের lesson: CSV থেকে Data Load।