전체 글 (63) 썸네일형 리스트형 [Docker] TensorRT 환경 구축 이전 글 을 통해 Docker를 설치하였으니 이제 환경을 구축해보겠습니다. 저는 nvidia docker을 사용하기 위해 toolkit을 다운 받아야합니다. 링크: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html Installing the NVIDIA Container Toolkit — NVIDIA Container ToolkitNote These instructions should work for any Debian-derived distribution.docs.nvidia.com 1. repository 설정 (NVIDIA의 공식 저장소에서 패키지를 안전하게 다운로드 하기 위함)cur.. [Docker] Ubuntu 환경에 설치 출처: https://docs.docker.com/engine/install/ubuntu/ UbuntuJumpstart your client-side server applications with Docker Engine on Ubuntu. This guide details prerequisites and multiple methods to install Docker Engine on Ubuntu.docs.docker.com Ubuntu 버전 확인lsb_release -a 1. Ubuntu 시스템 패키지 업데이트sudo apt-get update 2. Docker apt(Advanced Package Tool) repository Set up 하기# Add Docker's official GPG key:s.. [논문 리뷰] MoE-LLaVA MoE-LLaVA는 Meta의 LLM 모델인 Llama를 LVLM 모델로 변환한 LLaVA모델의 parameter를 효율적으로 처리하도록 제작한 모델입니다. Introduction LLaVA 또는 MiniGOT-4와 같은 LVLM 모델들이 image encoder 와 여러 visual projection layer들을 통해 LLM 모델을 LVLM모델로 변환하였고 성능 또한 좋은 것을 증명했습니다. LLM 모델들은 더 많은 데이터와 더 큰 모델 사이즈를 통해 성능을 더욱 더 높여왔습니다. 하지만 각 토큰마다 모든 파라미터를 활성화 하는 기존의 방식으로 인해 엄청난 양의 컴퓨팅 파워가 필요해졌습니다.이러한 문제를 해결하고자 LLM 분야에서 Mixtures of Experts(MoE) 기법을 활용한 연구가 .. [Contrastive Learning]SimCLR 사용하여 학습하기 본 글은 해당 링크의 튜토리얼을 실행하며 정리한 내용을 작성하였습니다.현재 주어진 데이터셋의 불균형이 심하여 여러 클래스 중 유독 2개의 클래스가 서로 비슷하여 정확성이 낮은 문제가있습니다.이를 해결하기 위한 방법으로 Contrastive Learning을 적용하고자 합니다. 일단 적용 모델의 이름은 SimCLR이며 자세한 내용은 위쪽에 언급한 링크에서 확인하실 수 있습니다. SimCLR의 핵심은 이미지를 Augumentation하여 같은 이미지의 쌍인 Positive pair의 loss는 줄이고 서로 다른 이미지쌍인 Negative Pair의 loss는 늘리는 것 으로 기존 Contrastive Learning 방식과 크게 다르지 않다고 생각합니다.이러한 방식으로 같은 클래스는 더 가깝게 다른 클래.. [유튜브 리뷰] How Do Vision Transformers Work? 보호되어 있는 글입니다. [Unity] SceneLoad를 통한 Scene 실행 시 물리작용 동작 안함 혹시 SceneLoad를 통해 Scene 실행 시 물리작용(ex.Colider감지, Rigid body감지)이 동작하지 않으신적 있나요??저는 있습니다... 이것 때문에 무려 4시간을 삽질한 끝에 해결책을 알아냈습니다... 저의 경우 void Start(){ Time.timeScale = 1f;}과 같이 실행 시 Time.timeScale에 1을 넣는 코드를 추가함으로 이를 해결했습니다. 왜인지 모르겠으나 Load될 경우 해당값이 0이 되어 물리 연산과 애니메이션이 중지된 경우인 것 같습니다. 누군가에게는 저의 삽질이 도움이 되었기를 ㅠㅠ [논문]Swin Transformer 기존 ViT는 이미지를 패치 단위로 나누어 해당 패치를 Transformer Encoder에 적용하는 방식으로 동작하게 됩니다. 그런데 기존의 ViT의 경우 Self-Attention 시 계산 복잡도가 다음과 같이 이미지 해상도의 제곱에 비례하여 증가합니다. 그러나 이미지의 경우 픽셀 수가 상당히 많기 때문에 이런 계산 복잡도는 데이터셋의 해상도에 따라 엄청난 차이를 만들 수 있습니다. 이런 문제를 해결하고자 Swin Transformer는 Hierarchical architecture를 통해 다양한 스케일에 유동적이고 선형적 계산 복잡도를 가지도록 제작되었습니다. Hierarchical architecture 앞서 언급한 Hierarchical architecture 입니다. 그림과 같이 이미지.. ModuleNotFoundError: No module named 'paddle' Github에서 중국분들의 코드에 많이 등장하는 paddle은 PaddlePaddle이라는 중국 딥러닝 플랫폼 입니다. 만약 제목에서 나타난 오류가 등장한다면 pip install paddlepaddle 을 통해 paddle 라이브러리를 설치함으로 해결할 수 있습니다. 이전 1 2 3 4 ··· 8 다음
