Python for AI/Errors ও Files/Lesson 29

File Handling

Disk-এ data লেখা আর পড়া — open(), mode (r, w, a), লাইন ধরে পড়া, বাংলার জন্য encoding="utf-8", আর pathlib দিয়ে path সামলানো।

সময়: 22 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Variable-এর data থাকে memory-তে — program শেষ হলেই হারিয়ে যায়। Data স্থায়ীভাবে রাখতে হলে file-এ লিখতে হয়।

main.py

with open("notes.txt", "w", encoding="utf-8") as f:
    f.write("প্রথম লাইন\n")
    f.write("দ্বিতীয় লাইন\n")

with open("notes.txt", encoding="utf-8") as f:
    print(f.read())

open(path, mode) — file খোলে
with ... as f: — block শেষে file নিজে থেকে বন্ধ করে
f.write() লেখে, f.read() পড়ে

এই playground-এর প্রতিটা run একটা নতুন folder-এ চলে, যেখানে আগের run-এর কোনো file থাকে না (শুধু platform-এর built-in dataset, যেমন students.csv)। তাই প্রতিটা উদাহরণ আগে নিজের file বানিয়ে নেয়।

কেন দরকার?

Dataset — প্রায় সব data আসে file থেকে: CSV, JSON, text, ছবি।
Model save/load — ঘণ্টার পর ঘণ্টা train করা model file-এ save না করলে আবার train করতে হবে।
Log — training চলাকালে কী হচ্ছে তা file-এ লিখে রাখা।

Mode

Mode	মানে	File না থাকলে	আগের লেখা
`"r"`	পড়া (default)	`FileNotFoundError`	থাকে
`"w"`	লেখা	নতুন বানায়	মুছে যায়
`"a"`	শেষে যোগ (append)	নতুন বানায়	থাকে
`"rb"` / `"wb"`	binary (ছবি, model)	—	—

main.py

with open("log.txt", "w", encoding="utf-8") as f:
    f.write("শুরু\n")

with open("log.txt", "a", encoding="utf-8") as f:
    f.write("epoch 1\n")
    f.write("epoch 2\n")

with open("log.txt", encoding="utf-8") as f:
    print(f.read())

পড়ার তিন উপায়

main.py

with open("poem.txt", "w", encoding="utf-8") as f:
    f.write("আমার সোনার বাংলা\nআমি তোমায় ভালোবাসি\nচিরদিন তোমার আকাশ\n")

with open("poem.txt", encoding="utf-8") as f:
    everything = f.read()
print(repr(everything))

with open("poem.txt", encoding="utf-8") as f:
    lines = f.read().splitlines()
print(lines)

with open("poem.txt", encoding="utf-8") as f:
    for number, line in enumerate(f, start=1):
        print(number, line.rstrip("\n"))

উপায়	কখন
`f.read()`	ছোট file, পুরোটা একবারে
`f.read().splitlines()`	লাইনের list চাই, `\n` ছাড়া
`for line in f:`	বড় file — একবারে একটা লাইন memory-তে, ১০ GB file-ও পড়া যায়

Encoding: বাংলার জন্য জরুরি

Computer অক্ষর রাখে সংখ্যা হিসেবে। কোন অক্ষর কোন সংখ্যা — সেই নিয়মকে বলে encoding। বাংলা সহ পৃথিবীর সব ভাষার জন্য standard হলো UTF-8।

main.py

text = "বাংলা"
data = text.encode("utf-8")
print(len(text), "অক্ষর")
print(len(data), "byte")
print(data)

৫টা অক্ষর, কিন্তু ১৫ byte — প্রতিটা বাংলা অক্ষর UTF-8-এ ৩ byte।

encoding="utf-8" না দিলে Python operating system-এর default ব্যবহার করে। Windows-এ সেটা প্রায়ই UTF-8 না — বাংলা file পড়তে গেলে UnicodeDecodeError বা ভাঙা অক্ষর। সবসময় লিখে দাও।

pathlib: path নিয়ে কাজ

"data/" + name + ".txt" জোড়া লাগানোর বদলে আধুনিক উপায় — pathlib:

main.py

from pathlib import Path

data_dir = Path("data")
data_dir.mkdir(exist_ok=True)

file = data_dir / "reviews.txt"
file.write_text("ভালো\nখারাপ\n", encoding="utf-8")

print(file)
print(file.exists(), file.name, file.suffix, file.stem)
print(file.read_text(encoding="utf-8").splitlines())
print([p.name for p in data_dir.glob("*.txt")])

/ দিয়ে path জোড়া লাগে — Windows (\) আর Linux (/) দুটোতেই ঠিকঠাক কাজ করে।

File না থাকলে

main.py

try:
    with open("nai.txt", encoding="utf-8") as f:
        print(f.read())
except FileNotFoundError:
    print("File পাওয়া যায়নি — আগে data download করো।")

Exercise

File-এর শব্দ গোনা

+20 XP

count_words(path) function লেখো যেটা একটা text file খুলে তার মোট শব্দ সংখ্যা return করে।

File-এ বাংলা থাকতে পারে, তাই encoding="utf-8" দিয়ে খোলো।

solution.py

def count_words(path):
    pass


with open("review.txt", "w", encoding="utf-8") as f:
    f.write("ফোনটা দারুণ\nbattery backup খুব ভালো\n")

print(count_words("review.txt"))

Quiz

Q1open("data.txt", "w") — file-এ আগে থেকে লেখা থাকলে কী হয়?
আগের লেখার শেষে যোগ হয়আগের সব লেখা মুছে যায়Error দেয়
Q2বাংলা text file পড়ার সময় encoding="utf-8" কেন দেওয়া উচিত?
এটা ছাড়া file খোলা যায় নাDefault encoding operating system-এর ওপর নির্ভর করে (Windows-এ প্রায়ই utf-8 না), ফলে বাংলা ভেঙে যেতে বা error দিতে পারেএটা file ছোট করে
Q3with open(...) as f: ব্যবহারের প্রধান সুবিধা কী?
File দ্রুত পড়া যায়Block শেষ হলে (error হলেও) file নিজে থেকে বন্ধ হয়ে যায়একসাথে অনেক file খোলা যায়

0/3 answered

Challenge

Log file-এর শেষ লাইনগুলো

+50 XP

দুটো function লেখো:

log(path, message) — file-এর শেষে একটা নতুন লাইন যোগ করবে (আগের লাইন মুছবে না)। File না থাকলে বানাবে।
tail(path, n) — file-এর শেষ `n`টা লাইন list হিসেবে return করবে, লাইনের শেষের \n ছাড়া। File না থাকলে খালি list।

solution.py

def log(path, message):
    pass


def tail(path, n):
    pass


for epoch in range(1, 6):
    log("train.log", f"epoch {epoch} done")

print(tail("train.log", 2))

বাস্তবে কোথায় ব্যবহার হয়?

একটা text classification dataset প্রায়ই এভাবে সাজানো থাকে — প্রতিটা class-এর জন্য একটা folder, ভেতরে প্রতিটা sample একটা file। চলো এমন একটা বানিয়ে পড়ি:

main.py

from pathlib import Path

samples = {
    "positive": ["দারুণ product", "খুব ভালো service"],
    "negative": ["একদম বাজে", "টাকা নষ্ট"],
}
for label, texts in samples.items():
    folder = Path("dataset") / label
    folder.mkdir(parents=True, exist_ok=True)
    for i, text in enumerate(texts):
        (folder / f"{i}.txt").write_text(text, encoding="utf-8")

dataset = []
for path in sorted(Path("dataset").glob("*/*.txt")):
    dataset.append((path.read_text(encoding="utf-8"), path.parent.name))

for text, label in dataset:
    print(f"{label:<10}{text}")

PyTorch-এর ImageFolder আর Hugging Face-এর অনেক dataset loader ঠিক এই "folder নাম = label" নিয়মে কাজ করে।

Interview প্রশ্ন

Beginner: "w" আর "a" mode-এর পার্থক্য কী?
Intermediate: ১০ GB-র একটা log file কীভাবে পড়বে যাতে memory শেষ না হয়?
Advanced: Text mode আর binary mode-এর পার্থক্য কী? Model weights কেন binary-তে save হয়?

এরপর কী?

Plain text-এ list বা dictionary রাখা ঝামেলার — আবার পড়ার সময় parse করতে হয়। এর standard সমাধান: পরের lesson JSON।