[최적화] Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning 논문 리뷰 (작성중)

들어가기 전에...

https://arxiv.org/pdf/2203.02651.pdf

2022년

원래는 모델 경량화의 초기 논문부터 쭉 보려고 했으나, 현재 연구 방향을 기준으로 관련 개념들을 공부하는 것이 더 유익할 듯하여, 2020년 이후 논문을 보기로 했다. 아마도 이해가 안되는 부분이 매우 많을 것으로 예상되나,, 열심히 찾아보면서 도전하는거지!

파랑색 글씨는 내가 보충한 내용 + 생각한 내용

빨강색 글씨는 아직 이해중인 내용

 

 

Abstract 6 Conclusion

 

기존의 NAS 기반 pruning 알고리즘은 최상의 validation 성능(validset에서 좋은 성능을 보이는)을 가진 sub 네트워크를 찾는 것을 목표로 한다. 하지만, validation 성능이 test 성능, 즉 잠재적 (일반화) 성능을 성공적으로 나타내지 못한다. 또한, 성능 저하를 복원하기 위해 pruning된 네트워크를 fine-tuning하는 것을 항상 수행하지만, 이 문제를 다룬 연구는 거의 없었다. 

본 논문에서는 언급된 2가지 문제를 한번에 해결할 수 있는 새로운 Ensemble Knowledge Guidance (EKG)를 제안한다.

1. 먼저, fluctuation of loss landscape가 잠재적 성능을 평가하는 효과적인 metric이 될 수 있음을 실험적으로 증명한다. 낮은 비용으로 smoothest loss landscape를 가진 sub 네트워크를 검색하기 위해 EKG를 search reward로 사용한다. search iteration을 위해 활용되는 EKG는 sub 네트워크의 앙상블 지식, 즉, sub 네트워크의 평가 부산물로 구성된다.
2. 다음으로 EKG를 재사용하여 pruning된 네트워크를 fine-tuning하는 동안 pruning된 네트워크에 gentle and informative guidance를 제공한다. EKG는 두단계 모두에서 memory bank로 구현되므로, 무시할 수 있는 비용이 필요하다.

예를 들어, ResNet-50은 pruning하고 학습할 때 성능 저하 없이 약 45.04%의 FLOPS (=FLoating point Operations Per Second, 초당 부동소수점 연산이라는 의미로 컴퓨터가 1초동안 수행할 수 있는 부동소수점 연산의횟수를 의미한다)를 제거하는 데, 315시간의 GPU가 필요하며, 이는 낮은 사양의 워크스테이션에서도 작동할 수 있다.

 

 

6 Conclusion

본 논문에서는 기존 NAS 기반 pruning 접근법에서 거의 고려되지 않았던 search reward 및 fine-tuning 전략을 위한 효율적이고 효과적인 솔루션인 EKG를 제안한다. 특히, loss landscape fluctuations에 기반한 sub 네트워크 평가는 과적합 위험이 높을 수 있는 validation 성능보다 일반성을 더 정확하게 반영할 수 있다. 또한, EKG는 기존 NAS 기반 pruning에 쉽게 연결될 수 있기 때문에 매우 가치가 높다. 일부 해결되지 않은 한계가 좀재함에도 불구하고 본 논문이 filter pruning 연구자들에게 의미있는 insight를 제공할 것으로 기대한다. 특히, 부정확한 vaildation 성능이 의심 없이 채택되었다는 점을 지적하고 수정하였다.