Python for AI/Pandas/Lesson 48

Merge ও Join

দুটো table মেলানো — merge আর key, inner বনাম left join, মিল না পাওয়া row খোঁজা (indicator), validate দিয়ে duplicate ধরা, আর concat দিয়ে table জোড়া।

সময়: 24 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Real data প্রায় কখনো এক table-এ থাকে না। একটা online shop-এর database:

orders                              customers
order_id  customer_id  amount       customer_id  name    city
101       1            1200         1            Rafi    Dhaka
102       2            800          2            Mim     Sylhet
103       1            450          3            Tanvir  Khulna

"কোন শহর থেকে বেশি order আসে?" — উত্তর দিতে দুটো table মেলাতে হবে, customer_id দিয়ে।

main.py

import pandas as pd

orders = pd.DataFrame({"order_id": [101, 102, 103], "customer_id": [1, 2, 1], "amount": [1200, 800, 450]})
customers = pd.DataFrame({"customer_id": [1, 2, 3], "name": ["Rafi", "Mim", "Tanvir"], "city": ["Dhaka", "Sylhet", "Khulna"]})

merged = orders.merge(customers, on="customer_id")
print(merged)
print(merged.groupby("city")["amount"].sum())

কেন দরকার?

Database-এর data আলাদা table-এ (normalization) — analysis-এর জন্য জোড়া লাগাতে হয়
ML feature: user-এর তথ্য, তার order history, product-এর তথ্য — সব এক জায়গায়
আলাদা source মেলানো: survey data + census data, sales + weather

Join-এর ধরন

main.py

import pandas as pd

left = pd.DataFrame({"key": ["A", "B", "C"], "left_val": [1, 2, 3]})
right = pd.DataFrame({"key": ["B", "C", "D"], "right_val": [20, 30, 40]})

for how in ["inner", "left", "right", "outer"]:
    print(f"--- {how} ---")
    print(left.merge(right, on="key", how=how))

left keys:  A B C          right keys:  B C D

inner  ->  B C              (দুটোতেই আছে)
left   ->  A B C            (বামের সব; A-এর right_val = NaN)
right  ->  B C D            (ডানের সব)
outer  ->  A B C D          (সব)

`how`	কখন
`"inner"` (default)	শুধু সম্পূর্ণ তথ্যওয়ালা row চাই
`"left"`	মূল table-এর একটা row-ও হারাতে চাই না — সবচেয়ে বেশি ব্যবহৃত
`"outer"`	দুই দিকে কী কী মেলেনি সেটা দেখতে

মিল না পাওয়া row খোঁজা: indicator

main.py

import pandas as pd

orders = pd.DataFrame({"customer_id": [1, 2, 9], "amount": [1200, 800, 3000]})
customers = pd.DataFrame({"customer_id": [1, 2, 3], "name": ["Rafi", "Mim", "Tanvir"]})

check = orders.merge(customers, on="customer_id", how="outer", indicator=True)
print(check)
print(check["_merge"].value_counts())

left_only — order আছে কিন্তু customer নেই (data-তে সমস্যা!)। right_only — customer আছে কিন্তু কখনো order করেননি (marketing-এর সুযোগ)।

সাবধান: duplicate key

main.py

import pandas as pd

orders = pd.DataFrame({"customer_id": [1, 2], "amount": [1200, 800]})
addresses = pd.DataFrame({"customer_id": [1, 1, 2], "city": ["Dhaka", "Gazipur", "Sylhet"]})

merged = orders.merge(addresses, on="customer_id")
print(merged)
print("মোট বিক্রি:", merged["amount"].sum(), "(আসল: 2000)")

Customer 1-এর দুটো address, তাই তার order দুবার — মোট বিক্রি ভুল! validate দিয়ে আগেই ধরো:

main.py

import pandas as pd

orders = pd.DataFrame({"customer_id": [1, 2], "amount": [1200, 800]})
addresses = pd.DataFrame({"customer_id": [1, 1, 2], "city": ["Dhaka", "Gazipur", "Sylhet"]})

orders.merge(addresses, on="customer_id", validate="many_to_one")

MergeError — "ডান দিকে প্রতিটা key একবারই থাকার কথা"। Production code-এ merge-এ validate দেওয়া ভালো অভ্যাস।

concat: উপর-নিচে জোড়া

main.py

import pandas as pd

jan = pd.DataFrame({"date": ["2026-01-05", "2026-01-20"], "amount": [500, 700]})
feb = pd.DataFrame({"date": ["2026-02-03"], "amount": [900]})

all_sales = pd.concat([jan, feb], ignore_index=True)
print(all_sales)

প্রতি মাসের আলাদা CSV file থেকে পুরো বছরের data বানাতে: pd.concat([pd.read_csv(f) for f in files])।

Exercise

Order-এর সাথে customer-এর শহর

+20 XP

orders আর customers দুটো আলাদা table, customer_id দিয়ে সম্পর্কিত।

result = প্রতিটা order-এর সাথে customer-এর name আর city যোগ করা DataFrame। সব order থাকবে — কোনো customer-এর তথ্য না পেলেও (তখন name/city missing)।

solution.py

import pandas as pd

orders = pd.DataFrame({
    "order_id": [101, 102, 103, 104],
    "customer_id": [1, 2, 1, 9],
    "amount": [1200, 800, 450, 3000],
})
customers = pd.DataFrame({
    "customer_id": [1, 2, 3],
    "name": ["Rafi", "Mim", "Tanvir"],
    "city": ["Dhaka", "Sylhet", "Khulna"],
})

result = None

print(result)

Quiz

Q1how="inner" merge-এ কোন row থাকে?
বাম table-এর সব rowশুধু যেসব key দুই table-এই আছেদুই table-এর সব row
Q2Merge-এর পর row সংখ্যা মূলের চেয়ে বেড়ে গেল। সবচেয়ে সম্ভাব্য কারণ?
Pandas-এর bugডান table-এ একই key একাধিকবার আছে — প্রতিটা মিলের জন্য আলাদা row তৈরি হয়েছেMissing value
Q3দুটো একই column-এর DataFrame (জানুয়ারি আর ফেব্রুয়ারির data) উপর-নিচে জোড়া দিতে?
mergepd.concat([jan, feb])jan + feb

0/3 answered

Challenge

শহর অনুযায়ী আয় — শূন্য সহ

+50 XP

city_revenue(orders, customers) function লেখো যেটা প্রতিটা customer-এর শহরের মোট order amount দেয় — যেসব শহরের কোনো order নেই, সেগুলোও 0 দিয়ে থাকবে।

Return: একটা dict ({"Dhaka": ..., ...}), শহরের নাম অনুযায়ী বর্ণানুক্রমে, মান int
যেসব order-এর customer customers-এ নেই, সেগুলো গোনা হবে না

solution.py

import pandas as pd


def city_revenue(orders, customers):
    pass


orders = pd.DataFrame({"customer_id": [1, 2, 1, 9], "amount": [1200, 800, 450, 3000]})
customers = pd.DataFrame({"customer_id": [1, 2, 3], "city": ["Dhaka", "Sylhet", "Khulna"]})
print(city_revenue(orders, customers))

বাস্তবে কোথায় ব্যবহার হয়?

একটা customer churn model-এর জন্য feature table বানানো — তিনটা table থেকে, প্রতিটা customer-এর জন্য একটা row:

main.py

import pandas as pd

customers = pd.DataFrame({"customer_id": [1, 2, 3, 4], "plan": ["basic", "pro", "basic", "pro"], "churned": [0, 0, 1, 1]})
orders = pd.DataFrame({"customer_id": [1, 1, 2, 2, 2, 4], "amount": [500, 700, 1200, 900, 1500, 300]})
tickets = pd.DataFrame({"customer_id": [3, 3, 4, 4, 4], "issue": ["late", "bug", "bug", "refund", "bug"]})

order_feats = orders.groupby("customer_id").agg(n_orders=("amount", "size"), total_spent=("amount", "sum"))
ticket_feats = tickets.groupby("customer_id").agg(n_tickets=("issue", "size"))

features = (
    customers
    .merge(order_feats, on="customer_id", how="left", validate="one_to_one")
    .merge(ticket_feats, on="customer_id", how="left", validate="one_to_one")
    .fillna({"n_orders": 0, "total_spent": 0, "n_tickets": 0})
)
print(features)

Customer 3 কখনো order করেননি — how="left" না দিলে তিনি হারিয়ে যেতেন, অথচ তিনিই churn করেছেন! প্রায় সব tabular ML project-এর বড় অংশ এই কাজ: অনেক table থেকে groupby + merge দিয়ে এক row-এক entity table বানানো।

Interview প্রশ্ন

Beginner: Inner আর left join-এর পার্থক্য কী?
Intermediate: Merge-এর পর row সংখ্যা বেড়ে গেলে কী সন্দেহ করবে, কীভাবে যাচাই করবে?
Advanced: Time-series data merge করার সময় ভবিষ্যতের তথ্য ঢুকে যাওয়া (leakage) কীভাবে এড়াবে? merge_asof কী?

এরপর কী?

Pandas module-এর শেষ lesson — column-এর মান রূপান্তর: নিজের function প্রয়োগ, category বানানো, তারিখ থেকে feature। পরের lesson: apply ও Transformations।