최적화
-
[최적화] 모델 경량화 Pruning (작성중)최적화 2023. 8. 29. 00:09
Pruning이란 : 중요도가 낮은 파라미터를 제거하여 네트워크를 가지치기 하는 것 Dropout과의 차이점 pruning : 파라미터 재사용 X dropout : 파라미터 재사용 O, inference과정에서는 모든 파라미터 사용 (앙상블과 유사한 효과를 갖음) Pruning의 장단점 - 장점 파라미터 감소로 인한 추론 속도 향상 (0으로 만드는 것이 아니라, 제거한 경우에만 해당?) Regularization으로 인한 일반화 성능 향상 (unstructed 방법에서도 효과가 있는건가??) -단점 정보 손실 발생 입자도(granularity)가 하드웨어 가속 효율성에 영향을 미침 (너무 sparse한 경우, 효율이 떨어짐 - unstructed pruning) Pruning의 종류 What to pru..
-
[최적화] 프로그래밍 언어 CUDA (작성중)최적화 2023. 8. 24. 00:09
CUDA란? : NVIDIA가 만든 병렬 컴퓨팅 플랫폼 및 API 모델. GPGPU (General-Purpose Compution on Graphics Processing Units)???? - CUDA를 통해 general한 purpose를 위한 gpu 사용이 가능해진 것 - CPU에 비해 훨씬 많은 스레드를 동시에 처리할 수 잇다 - 캐시와 공유 메모리를 지원한다 - C 언어와 유사하여 배우기 쉽다 CUDA 플랫폼이란? : GPU의 가상 명령어셋과 병렬 처리 요소들을 사용할 수 있도록 만들어주는 소프트웨어 레이어 (NVIDIA가 만든 CUDA 코어가 장착된 GPU에서 작동한다) nvcc 컴파일러???? gcc 컴파일러??? CUDA 설치 순서 1. 본인 그래픽 카드 확인 cmd (명령 프롬포트) 실..