Part 3: Loss, Backprop, Optimization

Bagaimana Komputer Sebenarnya "Belajar"?

Di Part 2, kita membangun "Mesin" (Neural Network). Tapi mesin itu masih bodoh (Random Weights). Di Part 3 ini, kita akan membahas mekanisme untuk membuat mesin itu menjadi pintar: Training Loop.

1. Loss Function (Fungsi Kerugian)

Langkah pertama untuk menjadi pintar adalah menyadari kesalahan. Loss Function adalah "Skor Ujian" computer. Semakin kecil nilainya, semakin pintar AI-nya.

Mean Squared Error (MSE)
Untuk Regresi (Angka)

Digunakan saat memprediksi harga rumah, suhu, dll.

$$ L = \frac{1}{N} \sum (y - \hat{y})^2 $$

Kuadrat selisih antara Kunci Jawaban ($y$) dan Prediksi ($\hat{y}$).

Cross-Entropy Loss
Untuk Klasifikasi (Kategori)

Digunakan saat membedakan Kucing vs Anjing.

$$ L = - \sum y \cdot \ln(\hat{y}) $$

Menghukum prediksi yang "yakin tapi salah" dengan sangat berat.

2. Backpropagation (Propagasi Mundur)

Setelah tahu kita salah (Loss tinggi), kita harus mencari tahu: "Salah siapa ini?" Backpropagation adalah proses mencari sumber kesalahan di setiap neuron.

Analogi: "The Blame Game"

Bayangkan sebuah perusahaan rugi besar (Loss Tinggi).

  1. CEO marah ke Manajer.
  2. Manajer menyalahkan Supervisor.
  3. Supervisor memarahi Staff.

Dalam matematika, "kemarahan" ini disebut Gradien ($\frac{\partial L}{\partial w}$). Kita menghitungnya mundur dari Output Layer $\rightarrow$ Input Layer menggunakan Chain Rule (Aturan Rantai).

3. Optimization (Gradient Descent)

Setelah tahu salah siapa (Backprop), langkah terakhir adalah memperbaiki diri. Kita mengubah bobot ($W$) agar kesalahan berkurang.

$$ W_{baru} = W_{lama} - \eta \cdot \frac{\partial L}{\partial W} $$
  • $W$: Bobot yang ingin diperbaiki.
  • $\eta$ (Learning Rate): Seberapa besar langkah perbaikan (jangan terlalu besar, jangan kekecilan).
  • $\frac{\partial L}{\partial W}$ (Gradient): Arah kesalahan yang didapat dari Backprop.
Analogi Gunung

Bayangkan anda tersesat di gunung yang gelap (Loss yang tinggi). Anda ingin turun ke lembah (Loss terendah). Anda meraba tanah dengan kaki (Hitung Gradient), lalu mengambil satu langkah kecil ke arah yang menurun (Update Weights). Ulangi terus sampai sampai di bawah.

🔄 The Training Loop

Jadi, inilah yang dilakukan komputer jutaan kali saat "Training":

1
Forward Pass: Hitung prediksi ($\hat{y}$) dari input ($x$).
2
Loss Calculation: Hitung seberapa salah prediksinya ($L$).
3
Backpropagation: Cari tahu gradien kesalahan ($\nabla L$).
4
Optimizer Step: Update bobot ($W$) sedikit ke arah yang benar.

Teori Selesai!

Anda sudah memahami 3 pilar utama Deep Learning. Saatnya melihat bagaimana ini semua bekerja dalam kode nyata.

Lanjut ke Part 4: How Training Works
Part 2: Neural Network Menu Deep Learning