전체 글
-
[최적화] 모델 경량화 Pruning (작성중)최적화 2023. 8. 29. 00:09
Pruning이란 : 중요도가 낮은 파라미터를 제거하여 네트워크를 가지치기 하는 것 Dropout과의 차이점 pruning : 파라미터 재사용 X dropout : 파라미터 재사용 O, inference과정에서는 모든 파라미터 사용 (앙상블과 유사한 효과를 갖음) Pruning의 장단점 - 장점 파라미터 감소로 인한 추론 속도 향상 (0으로 만드는 것이 아니라, 제거한 경우에만 해당?) Regularization으로 인한 일반화 성능 향상 (unstructed 방법에서도 효과가 있는건가??) -단점 정보 손실 발생 입자도(granularity)가 하드웨어 가속 효율성에 영향을 미침 (너무 sparse한 경우, 효율이 떨어짐 - unstructed pruning) Pruning의 종류 What to pru..
-
[최적화] 프로그래밍 언어 CUDA (작성중)최적화 2023. 8. 24. 00:09
CUDA란? : NVIDIA가 만든 병렬 컴퓨팅 플랫폼 및 API 모델. GPGPU (General-Purpose Compution on Graphics Processing Units)???? - CUDA를 통해 general한 purpose를 위한 gpu 사용이 가능해진 것 - CPU에 비해 훨씬 많은 스레드를 동시에 처리할 수 잇다 - 캐시와 공유 메모리를 지원한다 - C 언어와 유사하여 배우기 쉽다 CUDA 플랫폼이란? : GPU의 가상 명령어셋과 병렬 처리 요소들을 사용할 수 있도록 만들어주는 소프트웨어 레이어 (NVIDIA가 만든 CUDA 코어가 장착된 GPU에서 작동한다) nvcc 컴파일러???? gcc 컴파일러??? CUDA 설치 순서 1. 본인 그래픽 카드 확인 cmd (명령 프롬포트) 실..
-
[Deep Learning] 2. Edge Detection ExampleDeep Learning/이론 2022. 11. 12. 20:57
Andrew Ag 교수님의 강의 내용입니다. https://m.blog.naver.com/gaussian37/221132674371 2. Edge Detection example 컨벌루션 연산은 컨벌루션 뉴럴 네트워크의 기본 구성 블록 중 하나입니다. 이번 강의에서는 에지 검출을 ... blog.naver.com 2. Edge Detection Example Computer Vision Problem vertical edges, horizontal edges 탐지 Edge detection 방법 NxN 이미지가 있을 때, KxK 필터로 convolution 연산을 수행하면, (N-K+1)x(N-K+1) output 생성된다. 필터가 vertical edges 탐지할 수 있는 이유? 왼쪽과 같은 이미지가 ..
-
[Deep Learning] 1. Computer visionDeep Learning/이론 2022. 11. 12. 20:27
Andrew Ag 교수님의 강의 내용입니다. https://m.blog.naver.com/PostView.naver?blogId=gaussian37&logNo=221132667027&navType=by 1. Computer Vision gaussian37 blog.naver.com 1. Computer Vision CV 종류 Image Classification: 이미지가 어떤 class인지 분류하는 task Object Detection: 이미지 내에서 특정 object가 존재하는 위치를 탐색하는 task (=classification+localization) Neural Sytle Transfer: content image를 style image처럼 표현하는 task CV challenge 이미지의 ..
-
[Deep Learning] computer vision 개념 정리Deep Learning/이론 2022. 11. 12. 18:10
@ 개인적인 답변이므로 참고만 하시길 바랍니다. 딥러닝 발달 이전에 사물을 Detect할 때 자주 사용하던 방법은 무엇인가요? ==> Fatser R-CNN의 장점과 단점은 무엇인가요? ==> dlib은 무엇인가요? ==> opencv와 유사하게 이미지 처리 및 기계학습, 얼굴 인식 등을 할 수 있는 c++ 기반의 라이브러리 (얼굴 인식과 관련된 분야에서 매우 좋은 성능을 보임) YOLO의 장점과 단점은 무엇인가요? ==> 이미지 전체를 한번만 보고 예측할 수 있고, 하나의 통합된 모델로 구성되어 있다. 또한, 실시간으로 탐지할 수 있다는 장점이 있다. yolo v1~ 장단점 정리 제일 좋아하는 Object Detection 알고리즘에 대해 설명하고 그 알고리즘의 장단점에 대해 알려주세요 ==> 그 이후..
-
[Deep Learning] 개념 끄적이기Deep Learning/이론 2022. 11. 10. 02:53
공부좀 하고 한번에 슈루룩 정리해 버리기! 딥러닝 vs 머신러닝 - 딥러닝: 여러 layer를 가진 인공신경망을 사용하여 머신러닝 학습을 수행하는 것 (=심층학습) 딥러닝은 자동으로 학습하려는 데이터에서 특징을 추출 (=특징 추출에 사람 개입 X) 머신러닝은 어떤 특징을 추출할지 사람이 직접 분석하고 판단 (=특징 추출에 사람 개입 O) GAN - Generator 완벽할 때, Discriminater는 log(0.5)+log(0.5)=0.69로 수렴하게 된다. AutoEncoder - Autoencoder는 입력 data로부터 다시 data를 생성해내는 인공 신경망이다. Transformer - Transformer 과정 Encoder 1. input이 들어온 후 positional encoding 2..
-
[Paper short review] TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation 번역 및 설명Paper short review 2022. 2. 10. 15:22
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://arxiv.org/pdf/2102.04306.pdf 정리: 의료 영상 segmentation + transformer 0. Abstract 기존 의료 영상 segmentation은 모두 U-Net을 기반으로 함 But. CNN의 본질적인 특성으로 인해 global 특징을 모델링하는 데에 한계 Sequence2Sequence를 위해 제안된 transformer는 self-attention을 통해 global 특징을 모델링하는 데에 탁월 But. low level의 세부 정보가 충분하지 않아 localization 성능 저하 transformer와 unet의 장점을 모두 활용하는 의료 영상 segmentation 모델인 TransUn..
-
WAV2PIX: Speech-conditioned Face Generation using Generative AdversarialNetworks 논문 리뷰Paper short review 2022. 2. 7. 15:05
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://openaccess.thecvf.com/content_CVPRW_2019/papers/Sight%20and%20Sound/Amanda_Cardoso_Duarte_WAV2PIX_Speech-conditioned_Face_Generation_using_Generative_Adversarial_Networks_CVPRW_2019_paper.pdf 정리: 음성 신호를 통해 얼굴 생성 1. Introduction 청각과 시각은 높은 상관관계를 가진다. EX) 목소리만으로 얼굴을, 얼굴만으로 목소리 상상 가능 음성 신호가 주어졌을 때, 얼굴 이미지 생성을 위한 연구 수행 had crafted 작업, 사전 지식을 제거하여 음성신호만으로 얼굴 ..