Won_AI

Regression은 어떠한 dataset이 주어져있을 때 그 dataset에 적합한 function을 찾는 것을 말한다. 가장 대표적으로, $y=ax+b$에서의 $a$와 $b$를 찾는 regression이 위의 사진이다. 여기서 "linear"라는 말이 들어가면, 함수가 선형이라는 의미가 아니고, 그 함수들의 계수, 즉 $a$와 $b$가 선형이라는 의미이다. 따라서 linear regression은 다음과 같이 확장될 수 있다. $y = w_0 + \displaystyle\sum_{j=1}^{M-1} w_j \phi_j (x)$, where $\phi_j (x)$: function, called basis function. regression을 통해 찾아야할 계수들, $w_0 , \cdots, w_{M..

PRML의 Chapter 3에서는 fixed basis functions에서의 regression model을 다루었다.(chapter 3는 곧 다룰 예정) 여기서는 basis function 중에서도 널리 사용되고 있는 "radial basis functions"를 다룬다. radial basis functions의 정의는 다음과 같다. Def. radial basis functions is basis functions, which have the property that each basis function depends only on the radial distance from a center $\mu_j$, so that $\phi_j (x) = h(||x-\mu_j||)$. 즉, radial fu..

6.1에서 Gram matrix를 정의할 때엔 $\phi(x)$의 내적을 사용했고, Gram matrix를 kernel function으로 확장할 수 있음을 언급했다. 6.2에서는 kernel function이 무엇이고, 어떤 성질을 만족해야 하는지 알아보려 한다. kernel function의 수학적인 정의는 다음과 같다. Def. For an input space $\mathcal{X}$, a kernel is a bivariate function $k: \mathcal{X}\times \mathcal{X} \rightarrow \mathbb{R}$ s.t. $\forall x, x' \in \mathcal{X}$, 1. $k(x, x') = k(x', x)$ (symmetric) 2. $k(x, x..

Linear regression (with $L_2$ regularization) 의 loss function은 흔히 다음과 같이 표현된다. $\mathcal{L}(w) = {1 \over 2} \displaystyle\sum_{n=1}^N{\{w^T \phi(x_n) - t_n\}^2} + {\lambda \over 2} w^T w$, where $\lambda \geq 0$ 여기서 중요한 부분은 $\phi(x_n)$, 즉 어떠한 mapping으로 $x_n$을 표현할 것인가?이다. 예를 들어, $\phi(x_n) = [1, x, x^2]^T$로 두면, 우리의 model은 $w^T \phi(x_n) = w_0 + w_1 x_n + w_2 x_n^2$이 되어 우리는 2차 함수로의 regression을 하고..