The explosive computation and memory requirements of convolutional neural networks (CNNs) hinder their deployment in resource-constrained devices. Because conventional CNNs perform identical parallelized computations even on redundant pixels, the saliency of various features in an image should be reflected for higher energy efficiency and market penetration. This paper proposes a novel channel- and spatial-gating network (CSGN) for adaptively selecting vital channels and generating spatial-wise execution masks. A CSGN can be characterized as a dynamic channel and a spatial-aware gating module by maximally utilizing opportunistic sparsity. Extensive experiments were conducted on the CIFAR-10 and ImageNet datasets based on ResNet. The results revealed that, with the proposed architecture, the amount of multiply-accumulate (MAC) operations was reduced on average by 3.96× and 2.39×, respectively, with negligible accuracy degradation in the inference stage compared with the baseline architectures.
CNN(Convolutional Neural Networks)의 폭발적인 계산량 및 메모리 요구 량은 리소스가 제한된 장치에 배포하는 데 방해가 된다. 기존 CNN은 부가적인 픽셀에서도 동일한 병렬 계산을 수행하기 때문에 더 높은 에너지 효율성과 시장 침투를 위해서는 이미지의 다양한 특징이 두드러지게 반영되어야 한다. 본 논문에서는 적응적으로 중요한 채널을 선택하고 공간적 실행 마스크를 생성하기 위한 새로운 채널 및 공간 게이팅 네트워크(CSGN)를 제안한다. CSGN은 가능한 희소성을 최대한 활용하여 동적 채널 및 공간을 파악할 수 있는 게이팅 모듈이라는 특징을 가지고 있다. ResNet을 기반 네트워크로 사용하여 CIFAR-10 및 ImageNet 데이터셋에 대해 광범위한 실험이 수행되었다. 결과는 제안된 아키텍처를 사용하여 MAC(multiply-accumulate) 연산량이 각각 평균 3.96배 및 2.39배 감소했으며 추론 단계에서 기준 아키텍처와 비교하여 정확도 저하가 무시할 수 있는 수준인 것으로 나타났다.