Mathematics for AI/Functions ও Graph/Lesson 03

Exponent ও Log

eˣ কেন এত দ্রুত বাড়ে, log কীভাবে গুণকে যোগে বদলে দেয়, আর কেন ML-এর loss function (cross-entropy) আর probability-র হিসাবে log ছাড়া চলে না।

সময়: 24 মিনিট
Exercise: 1
Challenge: 1
Quiz: 3 প্রশ্ন

সহজ ভাষায়

Exponent — একটা সংখ্যাকে বারবার গুণ:

2^5 = 2 \times 2 \times 2 \times 2 \times 2 = 32

Log — উল্টো প্রশ্ন: "2-কে কত ঘাত দিলে 32 পাবো?"

\log_2(32) = 5

Exponent আর log একে অপরের উল্টো, যেমন গুণ আর ভাগ।

main.py

import numpy as np

print(2 ** 5, np.log2(32))
print(10 ** 3, np.log10(1000))
print(np.exp(1), np.log(np.e))

কেন দরকার?

ML-এর ভেতরে দুটো জায়গায় এরা সবখানে:

$e^x$ — sigmoid, softmax: score থেকে probability বানাতে
$\log$ — loss function (cross-entropy), আর অনেকগুলো probability নিরাপদে গুণ করতে

এমনকি LLM-এর output-এ যে "logits" শব্দ দেখবে — সেটাও log থেকে এসেছে।

বিশেষ সংখ্যা $e$

$e \approx 2.718$ — গণিতের সবচেয়ে "স্বাভাবিক" base। $e^x$ -এর একটা অদ্ভুত গুণ: যেকোনো বিন্দুতে এর বৃদ্ধির হার নিজের মানের সমান। Calculus-এ এটা সবকিছু সহজ করে দেয় — তাই ML-এ base- $e$ (natural log, $\ln$ , NumPy-তে np.log) default।

main.py

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-2, 3, 200)

fig, axes = plt.subplots(1, 2, figsize=(9, 3.5), layout="constrained")
axes[0].plot(x, np.exp(x), color="#059669")
axes[0].set_title("exp(x) — explodes to the right")
axes[0].grid(alpha=0.3)

xs = np.linspace(0.01, 10, 200)
axes[1].plot(xs, np.log(xs), color="#0f172a")
axes[1].axhline(0, color="gray", linewidth=0.5)
axes[1].set_title("log(x) — grows slowly, −∞ near 0")
axes[1].grid(alpha=0.3)

দুটো graph-এর আকার মনে রাখো:

$e^x$ — বাম দিকে প্রায় 0, ডানে বিস্ফোরণ। সবসময় positive।
$\log(x)$ — শুধু positive $x$ -এ সংজ্ঞায়িত, 0-এর কাছে $-\infty$ -এর দিকে, ডানে খুব ধীরে বাড়ে।

Log-এর নিয়ম

\log(a \times b) = \log(a) + \log(b)

\log(a^k) = k \log(a)

\log\left(\frac{a}{b}\right) = \log(a) - \log(b)

প্রথমটাই সবচেয়ে গুরুত্বপূর্ণ: log গুণকে যোগে বদলে দেয়।

main.py

import numpy as np

a, b = 0.003, 0.0004
print(np.log(a * b))
print(np.log(a) + np.log(b))

কেন ML-এ log ছাড়া চলে না

Model প্রতিটা sample-কে একটা probability দেয়। পুরো dataset-এর সম্মিলিত probability = সবগুলোর গুণফল। হাজারটা ছোট সংখ্যা গুণ করলে:

main.py

import numpy as np

probs = np.full(1000, 0.05)
print("গুণফল:", np.prod(probs))
print("log-এর যোগফল:", np.log(probs).sum())

গুণফল 0 — computer এত ছোট সংখ্যা রাখতে পারে না (underflow)। Log-এর যোগফল একদম স্বাভাবিক একটা সংখ্যা। এজন্যই ML-এ সবসময় "log-likelihood" নিয়ে কাজ — আর exercise-এ নিজেই এটা দেখবে।

Cross-entropy: log দিয়ে বানানো loss

Model সঠিক class-কে probability $p$ দিলে loss $= -\log(p)$ :

main.py

import numpy as np
import matplotlib.pyplot as plt

p = np.linspace(0.001, 1, 300)

fig, ax = plt.subplots()
ax.plot(p, -np.log(p), color="#dc2626")
ax.set_xlabel("probability given to the correct class (p)")
ax.set_ylabel("loss = -log(p)")
ax.set_ylim(0, 7)
ax.grid(alpha=0.3)

for value in [0.99, 0.5, 0.1, 0.01]:
    print(f"p = {value:<5} loss = {-np.log(value):.3f}")

ঠিক উত্তরে আত্মবিশ্বাসী ( $p \to 1$ ) → loss প্রায় 0
অনিশ্চিত ( $p = 0.5$ ) → মাঝারি loss
আত্মবিশ্বাসী ভুল ( $p \to 0$ ) → loss আকাশছোঁয়া

এই আকৃতিটাই model-কে শেখায়: "নিশ্চিত না হলে বেশি আত্মবিশ্বাস দেখিও না।" Binary classification-এর জন্য এর পূর্ণ রূপ:

\mathcal{L} = -\frac{1}{n}\sum_{i=1}^{n} \Big[ y_i \log(p_i) + (1 - y_i)\log(1 - p_i) \Big]

Challenge-এ এটাই লিখবে।

Exercise

ছোট সংখ্যার গুণ

+20 XP

একটা model ৫০০টা sample-এর প্রতিটাকে সঠিক label-এর জন্য 0.01 probability দিয়েছে। সব sample-এর সম্মিলিত probability = সবগুলোর গুণফল।

naive — np.prod(probs) দিয়ে সরাসরি গুণফল (দেখবে কী হয়!)
log_likelihood — log-এর যোগফল: Σ log(p)
log10_likelihood — একই জিনিস base-10 log-এ (গুণফলটা 10-এর কত ঘাত)

solution.py

import numpy as np

probs = np.full(500, 0.01)

naive = None
log_likelihood = None
log10_likelihood = None

print(naive, log_likelihood, log10_likelihood)

Quiz

Q1log₁₀(1000) কত?
310030
Q2log(a × b) = ?
log(a) × log(b)log(a) + log(b)log(a + b)
Q3Model সঠিক class-কে মাত্র 0.01 probability দিলে −log(p) loss কত বড়?
প্রায় 0.01 — ছোটপ্রায় 4.6 — বড়; আত্মবিশ্বাসী ভুলে log loss অনেক শাস্তি দেয়ঠিক 1

0/3 answered

Challenge

Binary cross-entropy

+50 XP

Binary classification-এর standard loss — binary cross-entropy:

loss = −mean( y·log(p) + (1 − y)·log(1 − p) )

y হলো আসল label (0 বা 1), p হলো model-এর দেওয়া probability (class 1-এর)।

bce(y, p) লেখো, একটা float return করবে। সাবধান: p ঠিক 0 বা 1 হলে log(0) = −∞। আগে p-কে [1e-12, 1 − 1e-12] সীমার মধ্যে আটকাও (np.clip)। Loop ছাড়া।

solution.py

import numpy as np


def bce(y, p):
    pass


y = np.array([1, 0, 1, 1])
p = np.array([0.9, 0.2, 0.6, 0.99])
print(bce(y, p))

বাস্তবে কোথায় ব্যবহার হয়?

Log scale — যখন data অনেকগুলো মাত্রা জুড়ে ছড়ানো। Model-এর size (parameter সংখ্যা) সময়ের সাথে কীভাবে বেড়েছে:

main.py

import matplotlib.pyplot as plt

models = ["LeNet (1998)", "AlexNet (2012)", "BERT (2018)", "GPT-2 (2019)", "GPT-3 (2020)"]
params = [6e4, 6e7, 3.4e8, 1.5e9, 1.75e11]

fig, axes = plt.subplots(1, 2, figsize=(10, 3.6), layout="constrained")
for ax, scale in zip(axes, ["linear", "log"]):
    ax.bar(range(len(models)), params, color="#059669")
    ax.set_yscale(scale)
    ax.set_xticks(range(len(models)), [m.split()[0] for m in models], rotation=30)
    ax.set_title(f"{scale} scale")

Linear scale-এ শুধু GPT-3 দেখা যায়, বাকিগুলো অদৃশ্য। Log scale-এ প্রতিটা ধাপ সমান দূরত্বে — দেখা যায় প্রায় প্রতি বছর মাপ কয়েক গুণ বেড়েছে। Loss curve, learning rate search, scaling law — ML-এর অনেক graph log scale-এ আঁকা হয়।

Interview প্রশ্ন

Beginner: Log কী? $\log(ab)$ কত?
Intermediate: Probability গুণ না করে log-probability যোগ করা হয় কেন?
Advanced: Cross-entropy loss কোথা থেকে আসে? Maximum likelihood estimation-এর সাথে এর সম্পর্ক কী?

এরপর কী?

এই lesson-এ $\sum$ চিহ্নটা বারবার এসেছে। ML-এর প্রতিটা paper আর documentation এই চিহ্নে ভরা। Module-এর শেষ lesson: Σ notation: সূত্র পড়তে শেখা — আর সূত্র থেকে সরাসরি code।

Exponent ও Log

সহজ ভাষায়

কেন দরকার?

বিশেষ সংখ্যা eee

Log-এর নিয়ম

কেন ML-এ log ছাড়া চলে না

Cross-entropy: log দিয়ে বানানো loss

Exercise

Quiz

Challenge

বাস্তবে কোথায় ব্যবহার হয়?

Interview প্রশ্ন

এরপর কী?

বিশেষ সংখ্যা $e$