728x90 DL6 [논문리뷰]CLIP (Learning Transferable Visual Models From Natural Language Supervision) 앞서 작성한 Constrative Learning를 기반으로 CLIP 논문 리뷰를 진행하겠습니다.2024.11.12 - [DL] - Contrastive Learning CLIP을 설명하기에 앞서 이전의 모델들은 어떤 단점이 있는지 알아보겠습니다. 기존 DL의 단점데이터 세트를 구축하기 위해 각 이미지마다 라벨링하는데 많은 시간과 비용을 사용학습된 데이터 구성이 아닐 경우 새로운 데이터 세트를 빌드하고 output head를 추가하고 모델을 fine tuning하는 과정을거쳐야 함실제 배포하면 벤치마크보다 성능이 훨씬 낮은 경우가 많음(일반화 문제)-> 벤치마크에서의 높은성능을 위한 최적화 때문 CLIP새로운 데이터가 들어왔을 떄 추가적인 모델 학습이 필요 없음Text encoder에 이미지에 대한 .. 2024. 11. 13. Contrastive Learning survey 논문인 "Contrastive Rerpesentation Learning: A Framework and Review"를 참고하여 Contrastive Learning에 대한 글을 작성합니다.Contrastive Learning레이블링 없이 특정 Embeding Network를 통해 학습하는 self-supervised Learning 방법론 중 하나입력 sample 간의 대조를 통해 학습된 representation space 상에서 비슷한 데이터는 가깝게( θ(I+) ), 다른 데이터는 멀게 ( θ(I-) ) 존재하도록 representation space를 학습하여 Loss 계산장점다른 Task로 Fine-tuning을 수행할 때 모델 구조 변경 없이 학습이 가능학습이 간단하면서 효과적임.. 2024. 11. 12. GAN(Generative Adversarial Networks) 리뷰 1. introduce “적대적 생성 신경망”으로 해석되는 GAN은 generator model 중 하나로 가짜 이미지를 생성하는 Generator와 데이터를 구분하는 Discriminator의 경쟁으로 학습하는 모델이다. 아래 그림과 수식을 통해 이해해 보자. 위의 그림처럼 Generator는 최대한 진짜 돈과 비슷한 가짜 돈을 만들고 Discriminator는 최대한 가짜 돈과 진짜 돈을 구분하려 한다. 만약 Generator의 능력(성능)이 높아지면 Discriminator의 판단(성능)이 낮아질 것이고, Generator의 능력(성능)이 낮아지면 Discriminator의 판단(성능)이 높아질 것이다. GAN은 이러한 과정을 통해 학습한다. 2. Objective Function 2.1 Gan의 .. 2024. 3. 16. VGG-16 리뷰 1. Introduce VGG는 신경망의 깊이가 어떤 영향을 주는지 연구를 하기 위해 설계된 모델로 가장 작은 3x3 kernel을 통해 깊은 신경망 모델을 만들었다. (kernel 사이즈가 크면 이미지 사이즈가 금방 작아서 신경망을 깊게 구성할 수 없음) 2. 특징 VGG 이전의 방식들은 1번의 convolution(ReLU) 연산으로 4x4 feaure map이 만들어진 반면 VGG는 3번의 convolution(ReLU) 연산으로 4x4 feature map을 만들었다. 이런 방식으로 모델 깊이가 깊어지고 비선형성이 증가하여 feature 식별성이 증가하고 파라미터 수를 감소할 수 있다. * 7x7 filter의 파라미터 수 -> 7x7x1 = 49 * 3x3 filter의 파라미터 수 -> 3x3.. 2024. 3. 14. ResNet(Residual Neural Network) 리뷰 1. Introduce기존 CNN 방식은 Layer가 깊어질 수록 성능이 좋아져야 하나 역전파 과정에서 gradient vanishing / exploding이 발생해 성능이 떨어지고 파라미터 증가로 training error가 증가하는 문제가 있었다. 이를 해결하기 위해 여러 기법을 사용하여 개선한 모델이 ResNet이다. 2. Residual Learning아래 ResNet의 구조를 보면 Residual Network에서 화살표를 통해 Convolution Layer를 건너 뛰는게 보일 것이다.입력값이 convoution을 거치지 않고 넘어가는 skip connection을 통해 신경망이 깊어지면 필연적으로 발생하는 gradient vanishing문제를 해결했다. 기존 방식의 신경망은 입력 x에 대.. 2024. 3. 12. YOLO 리뷰 2-Stage Detector의 대표적인 모델인 YOLO에 대해 공부한 내용을 작성해 보겠습니다.1. 특징단일 신경망 구조로 구성이 단순하며 빠르다.주변 정보까지 학습하여 이미지 전체를 처리하기 때문에 Background Error가 적다.훈련 단계에서 보지 못한 새로운 이미지에 대해서도 정확도가 높다.단, SOTA Detection model에 비해 mAP가 다소 떨어진다. 2. Unified DetectionRegion Proposal, Feature Extraction, Classification, Bounding Box Regression을 단일 신경망으로 처리하는 과정가정)grid : 4 x 4 (논문에서는 7 x 7)한 grid cell이 예측하는 bbox: 2개class 개수: 20x, y는.. 2024. 3. 12. 이전 1 다음 728x90 반응형
