Scalars, Vectors, Tensors - Linear Algebra

1. Hierarki Data

5

Scalar
(Rank 0)

x₁

x₂

x₃

Vector
(Rank 1)

.

Matrix
(Rank 2)

Tensor
(Rank 3+)

Dalam Linear Algebra, semua ini adalah objek yang sama dengan "dimensi" (Rank) yang berbeda:

Nama	Rank (Dimensi)	Contoh di ML
Scalar	0	Learning Rate ($\alpha = 0.01$), Loss Error ($L = 0.5$)
Vector	1	Satu data point (fitur rumah: [luas, kamar, harga]), Bias term
Matrix	2	Dataset (baris=sampel, kolom=fitur), Bobot (Weights) Neural Network
Tensor	3+	Gambar RGB (Tinggi x Lebar x 3 Channel), Video (Waktu x H x W x C)

2. Notasi Standar

Scalar: Huruf kecil miring ($x, a, \alpha$). Contoh: $x \in \mathbb{R}$.
Vector: Huruf kecil tebal ($\mathbf{x}, \mathbf{v}$). Contoh: $\mathbf{x} \in \mathbb{R}^n$. $$ \mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} $$
Matrix: Huruf besar tebal ($\mathbf{A}, \mathbf{X}$). Contoh: $\mathbf{A} \in \mathbb{R}^{m \times n}$. $$ \mathbf{A} = \begin{bmatrix} a_{1,1} & a_{1,2} \\ a_{2,1} & a_{2,2} \end{bmatrix} $$

3. Operasi pada Vector

a. Penjumlahan (Element-wise)

Dua vektor harus punya ukuran sama.

$$ \begin{bmatrix} 1 \\ 2 \end{bmatrix} + \begin{bmatrix} 3 \\ 4 \end{bmatrix} = \begin{bmatrix} 1+3 \\ 2+4 \end{bmatrix} = \begin{bmatrix} 4 \\ 6 \end{bmatrix} $$

b. Scaling (Perkalian Skalar)

Mengubah panjang vektor tanpa mengubah arah (kecuali skalar negatif).

$$ 2 \cdot \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 2 \\ 4 \end{bmatrix} $$

c. Dot Product (Produk Titik)

Sangat penting di ML! Menghasilkan satu angka Scalar. Mengukur kemiripan arah dua vektor.

$$ \mathbf{a} \cdot \mathbf{b} = \sum a_i b_i = (a_1 \times b_1) + (a_2 \times b_2) $$