# 렐루 함수 (ReLU Function)

렐루 함수(Rectified Linear Unit, ReLU)는 인공신경망에서 가장 널리 사용되는 활성화 함수 중 하나다. 함수의 수학적 표현은 간단하며 다음과 같다:

$$
f(x) = \max(0, x)
$$

즉, 렐루 함수는 입력이 양수일 경우 그대로 출력하고, 음수일 경우에는 0을 출력한다. 이 함수는 신경망의 각 뉴런이 학습 중에 비선형성을 도입하는 데 중요한 역할을 한다.

#### 렐루 함수의 특성과 장점

렐루 함수의 주요 특징 중 하나는 연산의 간단함이다. 다른 활성화 함수들에 비해, 렐루는 계산이 매우 효율적이다. 이는 네트워크의 학습 속도를 빠르게 하는 데 기여한다. 또한, 렐루는 음의 입력 값을 0으로 만들기 때문에, 네트워크의 희소성을 증가시키고 이는 과적합을 방지하는 데 도움이 될 수 있다.

렐루 함수는 활성화 함수로서 기울기 소실(Vanishing Gradient) 문제를 크게 줄인다. 시그모이드 함수나 탄젠트 함수와는 달리, 렐루는 기울기가 0으로 수렴하지 않기 때문에, 깊은 신경망에서도 효과적으로 학습할 수 있다.

#### 렐루 함수의 단점과 한계

렐루 함수에는 몇 가지 단점도 존재한다. 그 중 하나는 "죽은 렐루(Dead ReLU)" 문제이다. 입력 값이 계속해서 음수일 경우, 렐루 뉴런은 항상 0을 출력하게 된다. 이 상황이 반복되면, 해당 뉴런은 학습 과정에서 더 이상 업데이트되지 않으며, 사실상 "죽은" 상태가 된다. 이러한 뉴런의 비율이 높아지면, 신경망의 성능에 부정적인 영향을 미칠 수 있다.

또한, 렐루 함수는 입력 값이 매우 큰 경우에도 큰 출력을 생성한다. 이로 인해 학습 과정에서 기울기가 지나치게 커질 수 있으며, 이는 학습의 불안정을 초래할 수 있다.

***

관련 자료:

* Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press.
* Nair, V., & Hinton, G. E. (2010). Rectified Linear Units Improve Restricted Boltzmann Machines. *Proceedings of the 27th International Conference on Machine Learning (ICML-10)*.
* Glorot, X., Bordes, A., & Bengio, Y. (2011). Deep Sparse Rectifier Neural Networks. *Proceedings of the 14th International Conference on Artificial Intelligence and Statistics (AISTATS-11)*.