Introduction NLP 모델을 개발할 때, 일반적으로 unlabeled 데이터셋은 충분하지만 특정 task를 학습시키기 위한 labeled 데이터셋은 부족하다는 문제가 있습니다. GPT-1은 이 문제를 해결하기 위해 unsupervised pre-training과 supervised fine-tuning을 결합하여 사용하는 semi-super...

Introduction 대용량 corpus로 사전 학습한 단어 embedding vector를 사용하는 것은 이제 NLP 모델의 표준으로 자리 잡았습니다. 이 vector들이 문맥상 단어의 의미와 문장 구조에 대한 정보를 잘 함축하고 있기 때문입니다. 이에 따라 NLP 분야의 많은 연구자들이 모델 성능 향상을 위해 고품질의 단어 embedding v...

1. Introduction 이상 탐지는 사전에 수집한 데이터를 바탕으로, 정상 케이스와 비정상 케이스를 구분하는 방법을 학습하는 모델인데요. 비정상 케이스가 희박하고, 학습 데이터와는 다른 새로운 유형의 비정상 케이스가 발견되는 등 데이터셋에 문제가 있는 경우가 많기 때문에 분석에 어려움이 있습니다. 이러한 배경으로 이상 탐지 방법론은 정상 데이터...

CFA는 pre-trained CNN에 patch descriptor와 memory bank를 적용해서 비정상 feature를 더 명확하게 구분할 수 있도록 만든 모델입니다. hypersphere 기반 loss function을 사용해서 patch descriptor를 학습시켜 target 데이터 중심의 feature를 생성하고, target 데이터셋...

PatchCore는 SPADE와 PaDiM의 특징을 합친 모델로, SPADE의 Gallery와 비슷한 역할을 하는 Memory Bank를 사용합니다. 또한 PaDiM처럼 patch level 접근법을 사용하는데, 이웃한 pixel feature들을 묶어서 patch feature를 만든다는 것이 PaDiM과의 차이점입니다. 테스트 시에 테스트 이미지의...