[Paper Review] Deep Residual Learning for Image Recognition
ResNet 등장 배경 모델이 깊을수록 학습하기 어려움 layer를 깊게 쌓을수록 모델이 보다 풍부한 feature를 학습할 수 있기 때문에 vision task에서 모델의 깊이는 모델의 성능을 결정짓는 매우 중요한 요소로 여겨짐 VGGNet도 3x3 크기의 작은 filter를 사용하여 layer를 깊이 쌓아 Ale...
chips.ai
[Paper Review] On Pixel-Wise Explanations for Non-Linear Classifier Desisions by Layer-Wise Relevance Propagation
비선형성 때문에 분류 결과가 어떻게 도출되었는지 자세한 정보를 제공하지 못함 → 예측 결과(value)를 분해해서 이미지 픽셀 각각의 기여도를 구한 다음, heatmap으로 시각화 pre-trained model에 적용하는 방식 pixel-wise training이나 pixel-wise labeling 불필요 layer-wise relev...
[Paper Review] Deep inside Convolutional networks Visualising Image Classification Models and Saliency Maps
주요 contribution 이전 연구와 달리 supervised 방식으로 학습한 모델을 시각화 주어진 이미지 대해서 특정 클래스의 spatial support 계산 (image-specific class saliency map) gradient 기반의 시각화 방법과 deconvolutional network reconstruction 사...
[Paper Review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT는 대용량 corpus로 pre-training한 모델의 파라미터를 target task 수행을 위한 labeled data 학습 과정에서 fine-tuning하는 transfer-learning 모델입니다. Transformer의 Encoder만으로 구성되어 있다는 특징이 있습니다. 선행 연구와의 비교 BERT의 대표적인 선행연구로는 EL...
Kernel PCA
이번 포스트에서는 비선형 차원축소 기법 중 하나인 Kernel PCA에 대하여 알아보겠습니다. 이름에서 알 수 있듯이 Kernel trick과 PCA가 함께 사용되는 기법이기 때문에, 먼저 Kernel Trick과 PCA에 대한 이해가 필요한데요. PCA에 대한 설명은 이전 포스트을 참고하시면 됩니다. Kernel Trick 위 그림과 같이 in...