Paper short review
-
[Paper short review] Swin Transformer V2: Scaling Up Capacity and Resolution 논문 리뷰Paper short review 2021. 12. 2. 14:27
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://arxiv.org/pdf/2111.09883v1.pdf 정리: Swin transformer 개선 모델인 Swin transformer V2를 제안한다. 기존 모델의 기술적인 부분을 개선하고, 큰 모델에 전이할 때의 문제점을 개선한다. 이를 통해 classification, detection, segmentation, video action classification 4가지 CV task에서 SOTA를 달성한다. 0. Abstract 우리는 Swin Transformer를 최대 30억 파라미터까지 확장하고 최대 1,536×1,536 해상도의 이미지를 학습할 수 있는 기술을 제안한다. Swin Transformer는 용량과 해상도를..
-
[Paper short review] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 논문 리뷰Paper short review 2021. 12. 1. 21:51
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://arxiv.org/pdf/2103.14030v2.pdf 정리: CV의 backbone역할을 할 수 있는 Swin Transformer를 제안하였다. 이 방법론은 nlp에 특화된 transformer를 image에 잘 적용될 수 있게끔 하는 hierarchical transformer와 shifted-windows self-attention layer를 제안한다. hierarchical transformer는 CV에서 FPN(feature pyradmid network)와 비슷한 역할을 수행하고, 각 window(MxM개의 patch를 포함하는 영역) 내에서 self-attention을 수행한다. 추가적으로 window를 옮기면서 ..
-
[Paper short review] It’s About Time: Analog Clock Reading in the Wild 논문 리뷰Paper short review 2021. 11. 30. 16:31
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://arxiv.org/pdf/2111.09162v1.pdf 0. Abstract 본 논문에서는 이미지 혹은 비디오에서 아날로그 시계를 읽기 위한 방법론을 제안한다. 다음과 같은 기여를 한다. 합성 시계를 생성하기 위한 파이프라인을 통해 labeling 비용 감소 시계 정렬과 인식을 end-to-end로 학습한 spatial transformer networks (STN)에 기반한 시계 recognition 방법론을 제안 (합성 dataset에서 훈련된 후 실제 image에 잘 적용됨) label이 없는 dataset에 대해 신뢰할 수 있는 유사 label을 생성하는 방법 제안 추가적으로 COCO, open images, the clo..
-
[Paper short review] Are Transformers More Robust Than CNNs? 논문 리뷰Paper short review 2021. 11. 29. 17:20
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://arxiv.org/pdf/2111.05464v1.pdf 0. Abstract Transformer는 computer vision에서 강력한 알고리즘으로 선택되고 있다. 최근 연구에서는 transformer가 CNN보다도 훨씬 강력하다고 주장하고 있다. 하지만, 이러한 주장은 동일한 환경에서 실험을 수행하지 않았다. 우리는 robustness evaluation을 중심으로 transformer와 CNN간의 정확한 비교를 수행한다. 동일한 환경에서, robustness evaluation의 결과에서 CNN보다 transformer가 더 강력하다는 이전의 주장에 반하는 결과를 얻는다. CNN의 설정만 적절하게 채택한다면, transfo..