728x90 CLIP1 [논문리뷰]CLIP (Learning Transferable Visual Models From Natural Language Supervision) 앞서 작성한 Constrative Learning를 기반으로 CLIP 논문 리뷰를 진행하겠습니다.2024.11.12 - [DL] - Contrastive Learning CLIP을 설명하기에 앞서 이전의 모델들은 어떤 단점이 있는지 알아보겠습니다. 기존 DL의 단점데이터 세트를 구축하기 위해 각 이미지마다 라벨링하는데 많은 시간과 비용을 사용학습된 데이터 구성이 아닐 경우 새로운 데이터 세트를 빌드하고 output head를 추가하고 모델을 fine tuning하는 과정을거쳐야 함실제 배포하면 벤치마크보다 성능이 훨씬 낮은 경우가 많음(일반화 문제)-> 벤치마크에서의 높은성능을 위한 최적화 때문 CLIP새로운 데이터가 들어왔을 떄 추가적인 모델 학습이 필요 없음Text encoder에 이미지에 대한 .. 2024. 11. 13. 이전 1 다음 728x90 반응형
