전체 글
-
[최적화] Structural Pruning via Latency-Saliency Knapsack 논문 설명 및 구현최적화 2024. 1. 16. 01:09
들어가기 전에... https://arxiv.org/pdf/2210.06659.pdf https://github.com/NVlabs/HALP 2022년 원래는 모델 경량화의 초기 논문부터 쭉 보려고 했으나, 현재 연구 방향을 기준으로 관련 개념들을 공부하는 것이 더 유익할 듯하여, 2020년 이후 논문 중 github가 존재하는 논문을 보기로 했다. 단순히 논문의 text를 읽는 것이 중요한 것이 아니라, 코드도 같이 보면서 어떻게 구현하였는지 까지 보는 게 좋을 것 같다. 아마도 이해가 안되는 부분이 매우 많을 것으로 예상되나,, 열심히 찾아보면서 도전하는거지! 그리고, 논문의 포맷이나 순서대로 정리하기보다는 내가 공부한 순서대로 글을 적어보자 파랑색 글씨는 내가 보충한 내용 + 생각한 내용 빨강색 글..
-
[최적화] Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning 논문 리뷰 (작성중)최적화 2023. 10. 30. 00:05
들어가기 전에... https://arxiv.org/pdf/2203.02651.pdf 2022년 원래는 모델 경량화의 초기 논문부터 쭉 보려고 했으나, 현재 연구 방향을 기준으로 관련 개념들을 공부하는 것이 더 유익할 듯하여, 2020년 이후 논문을 보기로 했다. 아마도 이해가 안되는 부분이 매우 많을 것으로 예상되나,, 열심히 찾아보면서 도전하는거지! 파랑색 글씨는 내가 보충한 내용 + 생각한 내용 빨강색 글씨는 아직 이해중인 내용 Abstract 6 Conclusion 기존의 NAS 기반 pruning 알고리즘은 최상의 validation 성능(validset에서 좋은 성능을 보이는)을 가진 sub 네트워크를 찾는 것을 목표로 한다. 하지만, validation 성능이 test 성능, 즉 잠재적 (일..
-
[최적화] Learning both Weights and Connections for Efficient Neural Networks 논문 리뷰 (작성중)최적화 2023. 10. 22. 00:47
들어가기 전에... https://proceedings.neurips.cc/paper_files/paper/2015/hash/ae0eb3eed39d2bcef4622b2499a05fe6-Abstract.html 2015년 Song Han, Jeff Pool, John Tran, William J. Dally Part of Advances in Neural Information Processing Systems 28 (NIPS 2015) Optimal Brain Damage 이후 처음으로 pruning에 대해 제대로 다룬 논문 인 듯 하다 (제대로 찾아보진 않았지만, 1989 이후 2015까지 저명한 pruning 논문이 없음). 과연 OBD에서 어떤 방식으로 변형해서 pruning을 제안하였는지 궁금하다...
-
[최적화] Optimal Brain Damage 논문 리뷰최적화 2023. 10. 17. 23:16
들어가기 전에... https://proceedings.neurips.cc/paper/1989/hash/6c9882bbac1c7093bd25041881277658-Abstract.html 1989년 Yann Le Cun, John S. Denker and Sara A. Solla AT&T Bell Laboratories, Holmdel, N. J. 07733 Part of Advances in Neural Information Processing Systems 2 (NIPS 1989) 무려 30년 전에 모델 경량화에 대해 제안한 논문이다. 물론 주 목적이 경량화였는지, 일반화였는지는 읽어봐야 알겠지만 이런 아이디어를 생각하게 된 논리적인 생각의 흐름이 궁금하다. 논문도 짧고 명확해 보이기 때문에 경량화 ..
-
[최적화] Model Compression 논문 리스트최적화 2023. 10. 17. 00:12
1. Optimal Brain Damage (https://silhyeonha-git.tistory.com/49) pruning의 시초 2. Learning both Weights and Connections for EfficientNeural Networks 3. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding 4. DSD: Dense-Sparse-Dense Training for Deep Neural Networks 5. NISP: Pruning Networks using Neuron Importance Score Propagation 6. The Lottery ..
-
[최적화] pytorch CSR 구현 (작성중)최적화 2023. 10. 12. 00:12
Pruning 이후, 파라미터는 0이 많은 Sparse matrix(희소 행렬)의 형태를 갖게 된다. 하지만, 이 상태는 파라미터 값이 0으로 설정되었을 뿐, 사실상 경량화에 직접적으로 도움이 되지 않는다. 따라서 모델의 용량을 줄이기 위해서는 이 sparse matrix 를 효율적으로 표현할 필요가 있다. 이를 위해 제안된 방법으로 COO(Coordinate Format), CSR(Compressed Sparse Row), CSR(Compressed Sparse Column) 등이 있다. 본 글에서는 이를 설명하고, pytorch를 활용하여 구현해보고자 한다. COO이란 : 0이 아닌 값의 값, 행, 열을 별도의 메모리에 저장하는 방법 (3a개 메모리 필요,a=0이 아닌 개수) 위의 예시에서는 기존 1..
-
[최적화] 딥러닝 모델 더 작게 만들기(경량화) 내용 정리최적화 2023. 9. 5. 23:26
강의 내용 https://m.boostcourse.org/ai302/lecture/1474488# 딥러닝 모델 더 작게 만들기(경량화) 부스트코스(boostcourse)는 모두 함께 배우고 성장하는 비영리 SW 온라인 플랫폼입니다. m.boostcourse.org 경량화의 목적 딥러닝 모델이 다양한 분야에서 널리 사용중임 - on device ai의 한계 - 배터리에 의존하기 때문에 power사용량 제약이 존재함. 또한, 메모리, 저장공간, computing power 모두 제약이 존재함 - AI on Cloud - on device ai와 비교하여 제약은 줄어드나, 처리 속도(빠르게), 처리량(많게)의 제약이 존재함. ==> 경량화는 실제 산업에 적용되기 위해 필수적임. * 연산 측정 방법 1. Com..
-
[최적화] Model Compression for Deep Neural Networks: A Survey 논문 리뷰최적화 2023. 8. 30. 23:07
@ 굵은 글씨는 중요한 내용, 빨간 글씨는 내가 추가한 내용 https://www.mdpi.com/2073-431X/12/3/60 정리: 0. Abstract 딥러닝 모델이 빠르게 발전함에 따라 연산량 및 파라미터 수는 기하급수적으로 늘어나고 있다. 이는 많은 computing power가 필요하다는 것으로 이어지며, 결국 모델 실시간성의 어려움을 유발한다 (computing power의 발전은 비교적 느린 속도로 발전중임). 이를 해결하기 위해 모델 경량화 분야가 중요하게 대두되고 있다. 특히 edge device 환경에서의 모델 활용을 위해 경량화는 필수적이다. 본 논문은 다양한 모델 경량화 방법을 논한다 reducing device storage space speeding up model infer..