Won_AI

What is Anomaly Detection? Anomaly Detection은 말 그대로 이상을 감지하는 것으로, 특정 object의 결함을 감지하는 것을 말한다. 주로 결함의 유무, 결함의 정확한 위치 등을 찾아내는 것을 목표로 한다. What is Unsupervised Anomaly Detection? 공장과 같은 곳에서 abnormal한 부품을 찾아낸다고 생각해보자. 각각의 부품들은 기계를 이용해 생산되기 때문에, 상당히 높은 확률로 정상 부품일 것이다. 보통 인공지능이 옳고 그름을 판별하기 위해서는 옳은 것과 그른 것 양 측 모두 충분히 존재하여야 하지만, 이러한 예시처럼 현실에서는 "정상"이 압도적으로 많다. 즉 "비정상" 라벨을 얻기 위한 cost가 상당히 높다고 할 수 있다. 이러한 한..

What is self-supervised learning? Self-supervised learning, 혹은 unsupervised representation learning이란 unsupervised learning의 일종으로 self supervision, 즉 모델 스스로 labeling을 하는 학습을 의미한다. 학습 결과 모든 unlabeled samples에 대하여 유의미한 representation을 얻는 것을 목표로 하며, 만들어낸 representation을 이용해서 classification, object detection, segmentation 등의 task를 수행한다. 1. Momentum Contrast for Unsupervised Visual Representation Lea..

1. Learning to learn by gradient descent by gradient descent NeurIPS 2016 Andrychowicz et al. Paper link: https://arxiv.org/pdf/1606.04474.pdf ​Code link: 2. Model-Agnostic Meta-learning for Fast Adaptation of Deep Networks ICML 2017 Finn et al. Paper link: https://arxiv.org/pdf/1703.03400.pdf Code link: model: MAML MAML의 목적은 주어진 meta-learning의 experiences를 이용해서 임의의 task에 대하여 가장 빠르게 학습할 수 있는 mod..

class가 비슷할수록 feature space에서 distribution의 mean, variance가 비슷하다는걸 이용해서 few-shot learning의 성능을 향상시켰다. 특별히 model을 제시한건 아니고, 있던 모델을 사용했는데 target class를 base / novel로 나눴을 때 MAML같은 모델은 보통 base로 parameter가 학습하기에 가장 좋은 상태로 만들고 novel에 대한 N way K shot에 대해서 학습을 하지만, 여기선 base class들의 feature distribution을 만들고, novel class에 대해서 n way k shot problem의 데이터들을 가까운 base class들의 mean, variance들과 평균을 내서 novel class..

(to be continued)

feature space에서의 위치를 이용해서 classification을 진행한다. classification의 방법은 i. support set에서, 각각의 class당 average를 한 값을 그 class의 prototype으로 정의하고, ii. query set의 원소들의 classification 결과는 prototypes과 그 원소의 distance를 측정해서 가장 짧은 distance를 가진 prototype의 class로 분류한다. 여기서 distance는 Euclidean distance의 결과가 가장 좋았다고 한다. training은 generalization을 돕기 위해 똑같이 few-shot learning으로 진행하며, testing보다는 shot의 크기를 키우면 성능이 좋다고 ..

Classification, regression, reinforcement learning에 대한 meta-learning, 즉 1회 혹은 적은 수의 학습으로 새로운 task를 학습하는 것을 목표로 한다. 그 중, few-shot learning task를 다룬다. MAML은 meta-training data를 이용해서 데이터 학습에 가장 쉬운 상태가 되도록 model parameter을 학습하고, 그 parameter을 기반으로 하여 새로운 데이터에 대한 학습을 진행한다. 구체적으로, inner loop에서 task specific한 parameter을 학습하고, outer loop에서는 그렇게 학습된 parameter와 그 곳에서의 loss를 이용하여 model의 parameter을 update하는 ..

1. Introduction 지금까지 CNN을 개선해오며, layer 수를 늘리려 시도했으나 여러 문제들로 인해 좌절되어왔다. 이전까지 layer을 늘리면서 생긴 문제들은 다음과 같다. 1. vanishing or exploding gradient 2. overffiting 1번의 경우 gradient 값이 0에 근사하거나 혹은 지나치게 커져서 parameter의 update가 상당히 느려지고, 그 결과 layer을 늘렸음에도 불구하고 정확도가 높아지지 않는 현상이다. 2번의 경우 layer의 증가가 지나치게 복잡한 model을 만들어서, train accuracy는 매우 높지만 test accuracy는 높지 않은 현상이다. 1번의 경우에는 batch normalization과 같은 normalizat..