Won_AI

What is Anomaly Detection? Anomaly Detection은 말 그대로 이상을 감지하는 것으로, 특정 object의 결함을 감지하는 것을 말한다. 주로 결함의 유무, 결함의 정확한 위치 등을 찾아내는 것을 목표로 한다. What is Unsupervised Anomaly Detection? 공장과 같은 곳에서 abnormal한 부품을 찾아낸다고 생각해보자. 각각의 부품들은 기계를 이용해 생산되기 때문에, 상당히 높은 확률로 정상 부품일 것이다. 보통 인공지능이 옳고 그름을 판별하기 위해서는 옳은 것과 그른 것 양 측 모두 충분히 존재하여야 하지만, 이러한 예시처럼 현실에서는 "정상"이 압도적으로 많다. 즉 "비정상" 라벨을 얻기 위한 cost가 상당히 높다고 할 수 있다. 이러한 한..

What is self-supervised learning? Self-supervised learning, 혹은 unsupervised representation learning이란 unsupervised learning의 일종으로 self supervision, 즉 모델 스스로 labeling을 하는 학습을 의미한다. 학습 결과 모든 unlabeled samples에 대하여 유의미한 representation을 얻는 것을 목표로 하며, 만들어낸 representation을 이용해서 classification, object detection, segmentation 등의 task를 수행한다. 1. Momentum Contrast for Unsupervised Visual Representation Lea..

1. Learning to learn by gradient descent by gradient descent NeurIPS 2016 Andrychowicz et al. Paper link: https://arxiv.org/pdf/1606.04474.pdf ​Code link: 2. Model-Agnostic Meta-learning for Fast Adaptation of Deep Networks ICML 2017 Finn et al. Paper link: https://arxiv.org/pdf/1703.03400.pdf Code link: model: MAML MAML의 목적은 주어진 meta-learning의 experiences를 이용해서 임의의 task에 대하여 가장 빠르게 학습할 수 있는 mod..

class가 비슷할수록 feature space에서 distribution의 mean, variance가 비슷하다는걸 이용해서 few-shot learning의 성능을 향상시켰다. 특별히 model을 제시한건 아니고, 있던 모델을 사용했는데 target class를 base / novel로 나눴을 때 MAML같은 모델은 보통 base로 parameter가 학습하기에 가장 좋은 상태로 만들고 novel에 대한 N way K shot에 대해서 학습을 하지만, 여기선 base class들의 feature distribution을 만들고, novel class에 대해서 n way k shot problem의 데이터들을 가까운 base class들의 mean, variance들과 평균을 내서 novel class..

(to be continued)

feature space에서의 위치를 이용해서 classification을 진행한다. classification의 방법은 i. support set에서, 각각의 class당 average를 한 값을 그 class의 prototype으로 정의하고, ii. query set의 원소들의 classification 결과는 prototypes과 그 원소의 distance를 측정해서 가장 짧은 distance를 가진 prototype의 class로 분류한다. 여기서 distance는 Euclidean distance의 결과가 가장 좋았다고 한다. training은 generalization을 돕기 위해 똑같이 few-shot learning으로 진행하며, testing보다는 shot의 크기를 키우면 성능이 좋다고 ..

Classification, regression, reinforcement learning에 대한 meta-learning, 즉 1회 혹은 적은 수의 학습으로 새로운 task를 학습하는 것을 목표로 한다. 그 중, few-shot learning task를 다룬다. MAML은 meta-training data를 이용해서 데이터 학습에 가장 쉬운 상태가 되도록 model parameter을 학습하고, 그 parameter을 기반으로 하여 새로운 데이터에 대한 학습을 진행한다. 구체적으로, inner loop에서 task specific한 parameter을 학습하고, outer loop에서는 그렇게 학습된 parameter와 그 곳에서의 loss를 이용하여 model의 parameter을 update하는 ..

Regression은 어떠한 dataset이 주어져있을 때 그 dataset에 적합한 function을 찾는 것을 말한다. 가장 대표적으로, $y=ax+b$에서의 $a$와 $b$를 찾는 regression이 위의 사진이다. 여기서 "linear"라는 말이 들어가면, 함수가 선형이라는 의미가 아니고, 그 함수들의 계수, 즉 $a$와 $b$가 선형이라는 의미이다. 따라서 linear regression은 다음과 같이 확장될 수 있다. $y = w_0 + \displaystyle\sum_{j=1}^{M-1} w_j \phi_j (x)$, where $\phi_j (x)$: function, called basis function. regression을 통해 찾아야할 계수들, $w_0 , \cdots, w_{M..

PRML의 Chapter 3에서는 fixed basis functions에서의 regression model을 다루었다.(chapter 3는 곧 다룰 예정) 여기서는 basis function 중에서도 널리 사용되고 있는 "radial basis functions"를 다룬다. radial basis functions의 정의는 다음과 같다. Def. radial basis functions is basis functions, which have the property that each basis function depends only on the radial distance from a center $\mu_j$, so that $\phi_j (x) = h(||x-\mu_j||)$. 즉, radial fu..

6.1에서 Gram matrix를 정의할 때엔 $\phi(x)$의 내적을 사용했고, Gram matrix를 kernel function으로 확장할 수 있음을 언급했다. 6.2에서는 kernel function이 무엇이고, 어떤 성질을 만족해야 하는지 알아보려 한다. kernel function의 수학적인 정의는 다음과 같다. Def. For an input space $\mathcal{X}$, a kernel is a bivariate function $k: \mathcal{X}\times \mathcal{X} \rightarrow \mathbb{R}$ s.t. $\forall x, x' \in \mathcal{X}$, 1. $k(x, x') = k(x', x)$ (symmetric) 2. $k(x, x..