In this study, a self-gated rectified linear unit (SGReLU) is used as an activation function to score better accuracy, lower loss, as well as low computing complexity. The vanishing gradient issue, neuron death or dying ReLU, noise hypersensitivity, and output imbalance are all concerns with conventional activation functions that the proposed SGReLU overcomes. The novel SGReLU function is compared to seven very effective activation functions: ReLU, softplus, leaky–ReLU, exponential linear unit, swish, scaled-exponential linear unit, and softmax on the Modified National Institute of Standards and Technology (MNIST), Imagenet, and Fashion-MNIST datasets. In VGG16, ResNet50, as well as Inception v3, it was found that the SGReLU function outperformed alternative activation functions in the majority of situations. With the 2nd-lowest computing time in these networks in VGG16 as well as Inception v3, it outperformed other functions, reaching an accuracy of 90.87% and 95.01%, respectively. A customized neural network employing SGReLU was designed for anomaly detection in surface image data to detect the fracture in the surface, and it outperformed a ReLU-based network with 99.84% validation accuracy. SGReLU-α, another version of SGReLU with learnable parameter was trained to optimize the network.
본 연구에서는 자체 게이트 정류 선형 단위(SGReLU)를 활성화 함수로 사용하여 낮은 계산 복잡도뿐만 아니라 더 나은 정확도, 더 낮은 손실을 기록한다. 소멸 그레이디언트 문제, 뉴런 사망 또는 다잉 ReLU, 노이즈 과민성, 출력 불균형은 제안된 SGReLU가 극복하는 기존 활성화 기능의 관심사이다. 새로운 SGRLU 기능은 다음과 같은 7가지 매우 효과적인 활성화 기능과 비교된다. 수정된 국립표준기술원(MNIST), Imagenet 및 Fashion-MNIST 데이터셋의 ReLU, leaky-ReLU, 지수 선형 단위, swish, scale-exponential 선형 단위 및 softmax. Inception v3뿐만 아니라 VGG16, ResNet50에서 SGRU 기능이 대부분의 상황에서 대체 활성화 기능을 능가하는 것으로 밝혀졌다. Inception v3뿐만 아니라 VGG16에서 이러한 네트워크에서 두 번째로 낮은 컴퓨팅 시간으로, 각각 90.87%와 95.01%의 정확도에 도달하여 다른 기능을 능가했다. SGRelU를 사용하는 맞춤형 신경망은 표면의 파열을 감지하기 위해 표면 이미지 데이터의 이상 탐지를 위해 설계되었으며 99.84%의 검증 정확도로 ReLU 기반 네트워크를 능가했다. 학습 가능한 매개 변수를 가진 SGRU의 또 다른 버전인 SGRU-α는 네트워크를 최적화하도록 훈련되었다.