Won_AI

PRML의 Chapter 3에서는 fixed basis functions에서의 regression model을 다루었다.(chapter 3는 곧 다룰 예정) 여기서는 basis function 중에서도 널리 사용되고 있는 "radial basis functions"를 다룬다. radial basis functions의 정의는 다음과 같다. Def. radial basis functions is basis functions, which have the property that each basis function depends only on the radial distance from a center $\mu_j$, so that $\phi_j (x) = h(||x-\mu_j||)$. 즉, radial fu..

6.1에서 Gram matrix를 정의할 때엔 $\phi(x)$의 내적을 사용했고, Gram matrix를 kernel function으로 확장할 수 있음을 언급했다. 6.2에서는 kernel function이 무엇이고, 어떤 성질을 만족해야 하는지 알아보려 한다. kernel function의 수학적인 정의는 다음과 같다. Def. For an input space $\mathcal{X}$, a kernel is a bivariate function $k: \mathcal{X}\times \mathcal{X} \rightarrow \mathbb{R}$ s.t. $\forall x, x' \in \mathcal{X}$, 1. $k(x, x') = k(x', x)$ (symmetric) 2. $k(x, x..

Linear regression (with $L_2$ regularization) 의 loss function은 흔히 다음과 같이 표현된다. $\mathcal{L}(w) = {1 \over 2} \displaystyle\sum_{n=1}^N{\{w^T \phi(x_n) - t_n\}^2} + {\lambda \over 2} w^T w$, where $\lambda \geq 0$ 여기서 중요한 부분은 $\phi(x_n)$, 즉 어떠한 mapping으로 $x_n$을 표현할 것인가?이다. 예를 들어, $\phi(x_n) = [1, x, x^2]^T$로 두면, 우리의 model은 $w^T \phi(x_n) = w_0 + w_1 x_n + w_2 x_n^2$이 되어 우리는 2차 함수로의 regression을 하고..