6.3. Radial Basis Function Networks

PRML의 Chapter 3에서는 fixed basis functions에서의 regression model을 다루었다.(chapter 3는 곧 다룰 예정)

 

여기서는 basis function 중에서도 널리 사용되고 있는 "radial basis functions"를 다룬다.

radial basis functions의 정의는 다음과 같다.

Def. radial basis functions is basis functions, which have the property that each basis function depends only on the radial distance from a center $\mu_j$, so that $\phi_j (x) = h(||x-\mu_j||)$.

 

즉, radial functions은 특정 중심점에 대한 distance에 의존되는 함수들이다.(radial의 의미를 생각해보면 당연하다)

 

radial basis functions이 처음으로 등장한 것은 exact function interpolation을 위해서였다.

$\{x_1 , \cdots , x_N\}$의 input이 있고, $\{t_1, \cdots, t_N\}$의 target이 있을 때, $t=f(x)$ s.t.$f(x_n) = t_n$, $\forall n = 1, \cdots, N$인 smooth function $f$를 찾아야 한다고 생각해보자. 그러면, 간단게 $f(x)=\displaystyle\sum_{n=1}^N{w_n h(||x-x_n||)}$로 두고, 적절한 $w_n$을 찾으면 된다.

 

radial basis functions은 variable의 noise가 매우 클 때의 interpolation problem에서도 유용하게 쓰인다.

input $x$의 noise를 $\xi$($\xi$의 distribution은 $\nu(\xi)$)라고 둘 때, sum-of-square error function은 다음과 같이 된다: $E = {1 \over 2} \displaystyle\sum_{n=1}^N {\int \{y(x_n + \xi) - t_n \}^2 \nu(\xi)d\xi}.

변분법을 사용해주면, 이 error function을 최소화 시키는 함수 $f$가 radial basis functions의 형태로 나타남을 알 수 있다.($f(x) = \displaystyle\sum_{n=1}^N {t_n h(x-x_n )}$ where $h(x-x_n) = {{\nu(x-x_n)} \over { \displaystyle\sum_{n=1}^N{\nu(x-x_n)}}}$)

 

6.3.1. Nadaraya-Watson model