Python for AI/Pandas/Lesson 43

CSV থেকে Data Load

pd.read_csv-এর দরকারি parameter — sep, usecols, na_values, parse_dates, dtype; info() দিয়ে যাচাই; আর to_csv দিয়ে save করা।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Data সাধারণত আসে file থেকে। CSV পড়তে এক লাইন:

main.py

import pandas as pd

with open("students.csv", "w", encoding="utf-8") as f:
    f.write("name,dept,cgpa\nRafi,CSE,3.4\nMim,EEE,3.9\nTanvir,CSE,3.7\n")

df = pd.read_csv("students.csv")
print(df)
print(df.dtypes)

Errors ও Files module-এ csv module দিয়ে যা করেছিলাম — header পড়া, সংখ্যায় রূপান্তর — read_csv সব নিজে করে দেয়। cgpa নিজে থেকেই float64।

Playground-এর প্রতিটা run নতুন folder-এ চলে (আগের run-এর file থাকে না), তাই উদাহরণগুলো আগে file লিখে নেয়। তোমার computer-এ সরাসরি pd.read_csv("data/train.csv") লিখবে। URL থেকেও পড়া যায়: pd.read_csv("https://...")।

কেন দরকার?

Real dataset কখনো নিখুঁত না:

Separator comma না হয়ে ; বা tab
Missing মান লেখা N/A, -, ?, missing
তারিখ text হিসেবে
১০০টা column, দরকার ৫টা
ID-র শুরুর 0 হারিয়ে যায় (007 → 7)

read_csv-এর parameter দিয়ে load করার সময়েই এগুলো ঠিক করা যায় — পরে ঘষামাজা করার চেয়ে অনেক পরিষ্কার।

দরকারি parameter

Parameter	কাজ	উদাহরণ
`sep`	column separator	`sep=";"`, `sep="\t"`
`usecols`	শুধু এই column	`usecols=["date", "amount"]`
`na_values`	এগুলোও missing	`na_values=["N/A", "-"]`
`parse_dates`	তারিখ হিসেবে পড়ো	`parse_dates=["date"]`
`dtype`	type ঠিক করে দাও	`dtype={"zip": str}`
`nrows`	প্রথম n row	`nrows=1000` (বড় file আগে দেখতে)
`encoding`	অক্ষরের encoding	`encoding="utf-8"`

main.py

import pandas as pd

with open("raw.csv", "w", encoding="utf-8") as f:
    f.write("zip,city,joined,score\n0012,Dhaka,2026-01-15,88\n1207,Sylhet,2026-02-03,N/A\n0450,Khulna,2025-12-20,-\n")

naive = pd.read_csv("raw.csv")
print(naive.dtypes, "\n")

df = pd.read_csv(
    "raw.csv",
    dtype={"zip": str},
    parse_dates=["joined"],
    na_values=["N/A", "-"],
)
print(df)
print(df.dtypes)

naive-এ তিনটা সমস্যা: zip-এর শুরুর 0 হারিয়েছে, তারিখ text, আর score text (কারণ N/A, -)। ঠিক parameter দিয়ে তিনটাই সমাধান।

info(): load-এর পর যাচাই

main.py

import pandas as pd

with open("raw.csv", "w", encoding="utf-8") as f:
    f.write("zip,city,score\n0012,Dhaka,88\n1207,Sylhet,\n0450,Khulna,71\n")

df = pd.read_csv("raw.csv", dtype={"zip": str})
df.info()

info() দেখায় প্রতিটা column-এর type আর কতগুলো মান missing না (non-null)। Score-এর 2 non-null মানে 1টা missing।

Save: to_csv

main.py

import pandas as pd

results = pd.DataFrame({"model": ["baseline", "bert-bn"], "accuracy": [0.71, 0.89]})

results.to_csv("results.csv", index=False)
print(open("results.csv", encoding="utf-8").read())
print(pd.read_csv("results.csv"))

index=False না দিলে index-ও একটা column হিসেবে লেখা হয়, পরে পড়লে Unnamed: 0 নামে অদ্ভুত column আসে।

Exercise

Semicolon-ওয়ালা CSV

+20 XP

ইউরোপের অনেক dataset-এ comma না, semicolon (`;`) দিয়ে column আলাদা। prices.csv পড়ে df বানাও, তারপর avg_price = price column-এর গড়।

solution.py

import pandas as pd

with open("prices.csv", "w", encoding="utf-8") as f:
    f.write("product;price;stock\nKeyboard;1500;12\nMouse;450;40\nMonitor;18000;5\n")

df = None
avg_price = None

print(df)
print(avg_price)

Quiz

Q1Missing মানকে "N/A" লেখা থাকলে na_values না দিয়ে পড়লে কী হয়?
Pandas নিজে বুঝে NaN করেColumn-টা সংখ্যা না হয়ে text (str) হয়ে যায়, কারণ একটা মান সংখ্যা নাError
Q2df.to_csv("out.csv") লিখলে file-এ কী বাড়তি আসে?
কিছু নাIndex-টা একটা নামহীন প্রথম column হিসেবেColumn-এর type
Q3বড় CSV থেকে শুধু ৩টা column দরকার হলে কী করবে?
পুরোটা পড়ে তারপর বাকিগুলো dropusecols=[...] — শুরু থেকেই শুধু সেগুলো পড়ে, memory আর সময় বাঁচে

0/3 answered

Challenge

অগোছালো sales data load

+50 XP

load_sales(path) function লেখো যেটা একটা sales CSV ঠিকমতো load করে:

"N/A" আর "-" — দুটোকেই missing (NaN) হিসেবে পড়বে
date column-কে datetime হিসেবে পড়বে
শুধু date, product, amount column নেবে (বাকি বাদ)
তারিখ অনুযায়ী পুরনো থেকে নতুন সাজাবে, আর index 0 থেকে নতুন করে বসাবে

solution.py

import pandas as pd


def load_sales(path):
    pass


with open("sales.csv", "w", encoding="utf-8") as f:
    f.write("id,date,product,amount,notes\n3,2026-03-05,Mouse,450,ok\n1,2026-01-10,Keyboard,N/A,late\n2,2026-02-20,Monitor,-,\n4,2026-01-02,Cable,200,ok\n")

df = load_sales("sales.csv")
print(df)
print(df.dtypes)

বাস্তবে কোথায় ব্যবহার হয়?

বড় dataset-এর প্রথম পরিচয় — পুরোটা না পড়ে আগে একটা অংশ দেখা, তারপর ঠিক parameter বেছে নেওয়া:

main.py

import numpy as np
import pandas as pd

rng = np.random.default_rng(0)
n = 50_000
big = pd.DataFrame({
    "user_id": rng.integers(1, 5000, n),
    "amount": rng.normal(500, 150, n).round(2),
    "city": rng.choice(["Dhaka", "Sylhet", "Khulna"], n),
    "notes": "x" * 40,
})
big.to_csv("transactions.csv", index=False)

preview = pd.read_csv("transactions.csv", nrows=5)
print(preview)

df = pd.read_csv("transactions.csv", usecols=["user_id", "amount", "city"])
print(df.shape)
print(f"memory: {df.memory_usage(deep=True).sum() / 1e6:.1f} MB")

nrows=5 দিয়ে আগে দেখে নিলাম কোন column আছে, তারপর usecols দিয়ে শুধু দরকারিগুলো — অপ্রয়োজনীয় notes column বাদ দিয়ে memory বাঁচল।

Interview প্রশ্ন

Beginner: pd.read_csv-এ sep আর usecols কী কাজে লাগে?
Intermediate: CSV load করার পর কী কী যাচাই করবে? (dtypes, missing, duplicate, অস্বাভাবিক মান)
Advanced: RAM-এর চেয়ে বড় CSV কীভাবে process করবে? (chunksize, Parquet, Polars/DuckDB)

এরপর কী?

Data load হলো। এখন এর ভেতর থেকে ঠিক যে row আর column দরকার সেটা বের করা — পরের lesson: Selection: loc ও iloc।