# 리키 렐루 함수 (Leaky ReLU Function)

리키 렐루 함수(Leaky ReLU, Leaky Rectified Linear Unit)는 인공신경망에서 활성화 함수로 사용되는 비선형 함수이다. 이 함수는 기본적으로 렐루 함수(ReLU, Rectified Linear Unit)의 변형이며, 렐루 함수의 단점을 보완하기 위해 제안되었다.

리키 렐루 함수는 입력값이 음수일 때도 작은 기울기를 허용함으로써 렐루 함수의 문제점인 죽은 렐루 문제(dying ReLU problem)를 완화한다. 이 함수의 수학적 정의는 다음과 같다:

$$
f(x) = \begin{cases} x & \text{if } x \geq 0 \ \alpha x & \text{if } x < 0 \end{cases}
$$

여기서 $ \alpha $는 작은 양수로, 일반적으로 0.01로 설정된다. 이 파라미터는 음수 입력값에 대한 기울기의 크기를 결정한다.

#### 리키 렐루 함수의 동작 원리

리키 렐루 함수는 렐루 함수와 매우 유사하게 동작한다. 렐루 함수는 입력값이 0보다 크거나 같으면 그 값을 그대로 출력하고, 0보다 작으면 0을 출력한다. 그러나 리키 렐루 함수는 입력값이 0보다 작을 때도 그 값을 완전히 무시하지 않고, $ \alpha $로 조정된 값을 출력한다.

리키 렐루 함수의 동작은 다음과 같이 두 부분으로 나뉜다.:

1. **양의 영역 (Positive Region)**: 입력값 $ x $가 0보다 크거나 같을 때, 함수는 입력값을 그대로 출력한다. 이는 렐루 함수와 동일한다.
2. **음의 영역 (Negative Region)**: 입력값 $ x $가 0보다 작을 때, 함수는 입력값에 $ \alpha $를 곱한 값을 출력한다. 이로 인해 음수 입력값에 대해서도 작은 기울기를 가지게 되어 신경망이 학습을 계속할 수 있게 한다.

#### 리키 렐루 함수의 특징

리키 렐루 함수는 다음과 같은 특징을 가진다:

* **비선형성**: 리키 렐루 함수는 비선형 함수이므로, 신경망에 비선형성을 부여하여 복잡한 패턴을 학습할 수 있게 한다.
* **죽은 렐루 문제의 완화**: 리키 렐루 함수는 입력값이 음수일 때에도 작은 기울기를 허용하므로, 렐루 함수에서 발생할 수 있는 죽은 렐루 문제를 완화한다. 죽은 렐루 문제는 입력값이 음수일 때, 가중치가 업데이트되지 않아 뉴런이 비활성화되는 현상이다.
* **학습 효율성**: 리키 렐루 함수는 음수 영역에서도 학습을 지속할 수 있게 하여, 가중치의 업데이트가 멈추는 현상을 방지하고 학습의 효율성을 높인다.
* **간단한 계산**: 리키 렐루 함수는 수학적으로 간단하고, 계산 비용이 낮다. 이는 대규모 신경망에서 중요한 장점이다.

#### 리키 렐루 함수의 수학적 성질

리키 렐루 함수는 미분 가능하나, $ x = 0 $에서 비연속적이다. 그러나 이는 대부분의 최적화 알고리즘에서 큰 문제가 되지 않는다. 리키 렐루 함수의 도함수는 다음과 같이 정의된다:

$$
f'(x) = \begin{cases} 1 & \text{if } x \geq 0 \ \alpha & \text{if } x < 0 \end{cases}
$$

이 도함수는 입력값이 양수일 때 1, 음수일 때 $ \alpha $의 값을 가지며, 이는 신경망 학습에서 중요한 역할을 한다. 특히 음수 영역에서도 기울기가 0이 되지 않으므로, 역전파(backpropagation) 과정에서 가중치가 업데이트될 수 있다.

#### 리키 렐루 함수와 다른 활성화 함수와의 비교

리키 렐루 함수는 여러 활성화 함수들과 비교된다. 대표적인 비교 대상은 다음과 같다:

* **ReLU**: 리키 렐루 함수는 렐루 함수의 변형으로, 음수 영역에서도 기울기를 허용하여 죽은 렐루 문제를 해결한다.
* **Parametric ReLU (PReLU)**: 리키 렐루 함수는 $ \alpha $ 값이 고정되어 있는 반면, PReLU는 이 값을 학습을 통해 최적화한다.
* **ELU (Exponential Linear Unit)**: ELU는 음수 영역에서 지수적 기울기를 가지며, 리키 렐루 함수와는 다른 방식으로 죽은 렐루 문제를 해결한다.

리키 렐루 함수는 이러한 함수들에 비해 간단하면서도 효과적이라는 평가를 받는다.

***

관련 자료:

* Maas, A. L., Hannun, A. Y., & Ng, A. Y. (2013). Rectifier nonlinearities improve neural network acoustic models. In Proceedings of the 30th International Conference on Machine Learning (ICML-13), 3(30), 6.
* He, K., Zhang, X., Ren, S., & Sun, J. (2015). Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE international conference on computer vision, 1026-1034.