3.1. Linear Basis Function Models

Regression은 어떠한 dataset이 주어져있을 때 그 dataset에 적합한 function을 찾는 것을 말한다.

 

출처: 위키백과

가장 대표적으로, $y=ax+b$에서의 $a$와 $b$를 찾는 regression이 위의 사진이다.

 

여기서 "linear"라는 말이 들어가면, 함수가 선형이라는 의미가 아니고, 그 함수들의 계수, 즉 $a$와 $b$가 선형이라는 의미이다. 따라서 linear regression은 다음과 같이 확장될 수 있다.

 

$y = w_0 + \displaystyle\sum_{j=1}^{M-1} w_j \phi_j (x)$, where $\phi_j (x)$: function, called basis function.

 

regression을 통해 찾아야할 계수들, $w_0 , \cdots, w_{M-1}$은 선형이므로, 이러한 함수를 찾는 과정은 linear regression이 되는 것이다.

 

이러한 $y$를 우리는 linear basis function이라고 부르며, 가장 대표적으로 $\phi_j(x) = x^j$인 polynomial function이 있다.

 

저 수식은 내적을 통해 더 간단하게 나타낼 수 있다: $y=w^{T} \phi(x)$, where $w=(w_0, \cdots, w_{M-1})^T$, $\phi = (\phi_0 , \cdots, \phi_{M-1})^T$.

 

(to be continued)