vpt (1) 썸네일형 리스트형 [논문 리뷰] Visual Prompt Tuning 최근 성능이 좋은 거대 모델이 쏟아지며 많은 분야에서 기술적 혁신이 일어나고 있습니다.그러나 이러한 거대모델을 일반인 또는 연구실 그리고 대부분의 기업에서 만들기는 정말 쉽지 않습니다. 따라서 현재 나온 거대 모델을 사용하며, 낮은 컴퓨팅 자원을 통해 원하는 방향으로 성능을 향상시키는 방법을 찾다 Visual Prompt Tuning(VPT)에 대해 알게되었습니다. 논문의 사진에서 볼 수 있듯 VPT는 Linear Probing과 같이 기존의 다양한 transfer learning 방법에 비해 성능이 높으며 심지어 Full fine-tunning 방법보다도 성능이 좋습니다. Full: Pretrain된 모델의 파라미터를 학습 시키는 것Linear: Classification Layer에 Fully .. 이전 1 다음
