Bab 6: Probabilitas & Distribusi

Bahasa Ketidakpastian dalam Artificial Intelligence

Mengapa Probabilitas?

Dunia nyata penuh dengan ketidakpastian (data yang noisy, informasi yang tidak lengkap, prediksi masa depan). Probabilitas memberikan kerangka kerja logis untuk mengukur dan memanipulasi ketidakpastian tersebut. Dalam ML, kita menggunakan probabilitas untuk membuat prediksi yang tidak hanya akurat, tapi juga tahu seberapa "yakin" prediksi tersebut.

Peta Konsep

                            graph LR
                                A[Probabilitas] --> B[Joint Probability]
                                B --> C[Marginal Probability]
                                B --> D[Conditional Probability]
                                D --> E[Bayes Theorem]
                                A --> F[Random Variable]
                                F --> G[Distribusi]
                                G --> H[Gaussian / Normal]

1. Probabilitas Diskrit dan Kontinu

Diskrit: Variabel acak $X$ hanya bisa mengambil nilai tertentu (misal: lempar koin $\in \{H, T\}$). Kita menggunakan Probability Mass Function (PMF): $P(X=x)$.
Kontinu: Variabel acak $X$ bisa mengambil nilai berapapun dalam selang (misal: tinggi badan, suhu). Kita menggunakan Probability Density Function (PDF): $p(x)$.
Ingat: Untuk variabel kontinu, probabilitas di satu titik spesifik adalah 0. Kita menghitung probabilitas dalam interval menggunakan integral: $P(a \le X \le b) = \int_a^b p(x) dx$.

2. Aturan Dasar Probabilitas

Ada dua aturan fundamental yang menjadi dasar hampir semua manipulasi probabilitas:

Sum Rule (Marginalisasi) dan Product Rule

p(x) = \sum_{y} p(x, y) \quad \text{(Sum Rule - Diskrit)} $$ $$ p(x, y) = p(y|x)p(x) \quad \text{(Product Rule)}

Contoh Perhitungan: Sum & Product Rule

Misalkan kita punya dua kotak berwarna Merah ($R$) dan Biru ($B$).

Kotak $R$ berisi 2 Apel ($A$), 6 Jeruk ($O$).
Kotak $B$ berisi 3 Apel ($A$), 1 Jeruk ($O$).

Kita memillih kotak secara acak: $P(R) = 0.4$, $P(B) = 0.6$. Lalu kita ambil buah dari kotak tersebut.

Berapa peluang terambil Apel secara keseluruhan $P(A)$?

Gunakan Sum Rule dan Product Rule:

\begin{align*} P(A) &= P(A, R) + P(A, B) \\ &= P(A|R)P(R) + P(A|B)P(B) \end{align*}

Diketahui:

$P(A|R) = \frac{2}{2+6} = \frac{1}{4} = 0.25$
$P(A|B) = \frac{3}{3+1} = \frac{3}{4} = 0.75$

$$ P(A) = (0.25)(0.4) + (0.75)(0.6) = 0.1 + 0.45 = 0.55 $$

3. Teorema Bayes

Jantung dari Bayesian Machine Learning. Teorema ini memberi tahu kita bagaimana memperbarui keyakinan kita (Posterior) setelah melihat data (Likelihood), berdasarkan keyakinan awal (Prior).

p(\theta | \text{data}) = \frac{p(\text{data} | \theta) p(\theta)}{p(\text{data})}

Contoh Perhitungan: Bayes Theorem

Lanjut dari contoh buah sebelumnya. Misalkan kita mengambil sebuah buah dan ternyata itu adalah Jeruk ($O$). Berapa peluang buah itu berasal dari Kotak Biru ($B$)?

Kita ingin mencari $P(B|O)$. Gunakan Bayes Theorem:

P(B|O) = \frac{P(O|B)P(B)}{P(O)}

Kita tahu:

$P(O|B) = \frac{1}{4} = 0.25$
$P(B) = 0.6$
$P(O) = 1 - P(A) = 1 - 0.55 = 0.45$ (karena total peluang harus 1)

P(B|O) = \frac{0.25 \times 0.6}{0.45} = \frac{0.15}{0.45} = \frac{1}{3} \approx 0.33

Meskipun kita lebih sering memilih kotak Biru (60%), tapi karena kotak Biru hanya punya sedikit Jeruk, jika kita dapat Jeruk, kemungkinannya kecil itu dari kotak Biru.

4. Statistik Ringkasan & Distribusi Gaussian

Kadang kita hanya butuh karakteristik utama dari sebuah distribusi:

Mean (Nilai Harapan): $\mathbb{E}[x] = \sum x p(x)$. Pusat massa distribusi.
Variance (Ragam): $\text{Var}[x] = \mathbb{E}[(x - \mu)^2]$. Ukuran sebaran data.

Distribusi Gaussian (Normal)

Distribusi paling penting dalam statistik dan ML. Didefinisikan oleh Mean ($\mu$) dan Variance ($\sigma^2$).

\mathcal{N}(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x-\mu)^2}{2\sigma^2} \right)

Bab 5: Kalkulus Vektor Bab 7: Optimasi Kontinu