본문 바로가기

분류 전체보기

 (83)
IBOT : IMAGE BERT PRE-TRAINING WITH ONLINETOKENIZER 리뷰 Zhou, Jinghao, Chen Wei, Huiyu Wang, Wei Shen, Cihang Xie, Alan Yuille, and Tao Kong. "ibot: Image bert pre-training with online tokenizer." arXiv preprint arXiv:2111.07832 (2021). https://arxiv.org/abs/2111.07832 iBOT: Image BERT Pre-Training with Online Tokenizer The success of language Transformers is primarily attributed to the pretext task of masked language modeling (MLM), where texts are ..
Neural discrete representation learning(VQ-VAE) 리뷰 + 코드 Van Den Oord, Aaron, and Oriol Vinyals. "Neural discrete representation learning." Advances in neural information processing systems 30 (2017). Neural Discrete Representation Learning Requests for name changes in the electronic proceedings will be accepted with no questions asked. However name changes may cause bibliographic tracking issues. Authors are asked to consider this carefully and discu..
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction 리뷰 Tian, Keyu, Yi Jiang, Zehuan Yuan, Bingyue Peng, and Liwei Wang. "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction." arXiv preprint arXiv:2404.02905 (2024). Paperswithcode에 상위 논문으로 플로팅 되어 있길래 하는 리뷰NLP에서 사용하는 autoregressive modeling을 비전에 적용한 첫 모델? 인듯 하다. Abstract 우리는 autoregressive learning을 이용한 이미지 생성에 새로운 패러다임을 제시한다. 다음 토큰을 예측하는 전형적인 방법에서 벗어나 단계별로 해상도/스케일을 예측한..
DINOv2: Learning Robust Visual Features without Supervision 리뷰 Oquab, Maxime, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez et al. "Dinov2: Learning robust visual features without supervision." arXiv preprint arXiv:2304.07193 (2023). DINO v1을 리뷰하고 BYOL을 리뷰하고 다시 DINO v2를 리뷰하는 뒤죽박죽이다. Abstract 대용량 데이터셋으로 사전훈련된 모델을 이용할 수 있음에 따라 이미지의 시각적 특징만을 이용해 원하는 작업을 위한 정보를 얻을 수 있게 되었다. 이 연구에서는 다양한 원천에서 수집된 데이터로 사전훈련된 모델이 존재한다면 ..
Bootstrap Your Own Latent A New Approach to Self-Supervised Learning 리뷰 Grill, Jean-Bastien, Florian Strub, Florent Altché, Corentin Tallec, Pierre Richemond, Elena Buchatskaya, Carl Doersch et al. "Bootstrap your own latent-a new approach to self-supervised learning." Advances in neural information processing systems 33 (2020): 21271-21284. DINO v1 에서 사용한 방법 중 BYOL이라는 모델에 대한 논문 리뷰이다. Abstract Boostrap Your Own Latent은 자기주도 학습을 위한 방법으로 online, target이라는 2개의 네트워크가 상호..
Emerging Properties in Self-Supervised Vision Transformers 리뷰 Caron, Mathilde, Hugo Touvron, Ishan Misra, Hervé Jégou, Julien Mairal, Piotr Bojanowski, and Armand Joulin. "Emerging properties in self-supervised vision transformers." In Proceedings of the IEEE/CVF international conference on computer vision, pp. 9650-9660. 2021. Dino라고도 알려진 모델의 논문이다. 코드는 https://github.com/facebookresearch/dino 에서 확인 가능하다고 한다. Abstract Convnet에 비해 ViT에서의 self-supervised lea..
Point Transformer V3 : Simpler, Faster, Stronger Wu, Xiaoyang, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, and Hengshuang Zhao. "Point transformer v3: Simpler, faster, stronger." arXiv preprint arXiv:2312.10035 (2023). Point Transformer v1,v2 에 이은 v3가 발표되었다. 24.04.03 날짜의 paperswithcode 사이트 기준 대부분의 Task에서 상위권에 분포하고 있다. Abstract v3에서는 새로운 어텐션을 소개하기 보단 v2에 대한 효율성을 증가시켰다. n=16의 kNN을 대체하여 n=1024의 neighbor mapp..
Point Transformer V2: Grouped Vector Attention and Partition-based Pooling Wu, Xiaoyang, et al. "Point transformer v2: Grouped vector attention and partition-based pooling." Advances in Neural Information Processing Systems 35 (2022): 33330-33342. Point Transformer V2: Grouped Vector Attention and Partition-based Pooling Requests for name changes in the electronic proceedings will be accepted with no questions asked. However name changes may cause bibliographic trackin..

티스토리툴바