# PReLU (Parametric ReLU) 함수

PReLU(Parametric Rectified Linear Unit)는 인공신경망에서 자주 사용되는 활성화 함수 중 하나이다. 기존의 ReLU(Rectified Linear Unit) 함수의 변형된 형태로, 특히 음수 구간에서의 기울기를 학습 가능한 매개변수로 확장한 것이 특징이다. 이 함수는 신경망이 더 풍부한 표현력을 가지도록 돕는다.

#### PReLU의 수학적 표현

PReLU 함수는 다음과 같이 정의된다:

$$
f(x) = \begin{cases} x & \text{if } x \geq 0 \ \alpha x & \text{if } x < 0 \end{cases}
$$

여기서 $ \alpha $는 학습 가능한 매개변수로, 음수 구간에서의 기울기를 나타낸다. ReLU 함수와의 차이는 이 $ \alpha $의 존재에 있다. ReLU 함수는 음수 구간에서 기울기가 0이지만, PReLU에서는 이 값이 $ \alpha $에 의해 조절된다.

#### PReLU의 장점

1. **Dead Neuron 문제 완화**: ReLU 함수는 입력 값이 음수일 때 출력이 0이 되므로, 학습 과정에서 일부 뉴런이 비활성화(dead)되는 문제가 발생할 수 있다. PReLU는 음수 구간에서도 $ \alpha $ 값을 통해 일정한 기울기를 유지하므로, 이러한 비활성화 문제를 완화할 수 있다.
2. **표현력 증가**: PReLU는 각 뉴런이 개별적인 음수 기울기를 학습할 수 있게 함으로써, 신경망의 표현력을 증가시킨다. 이는 더 복잡한 데이터 패턴을 학습하는 데 유리한다.
3. **자동 최적화**: $ \alpha $ 값이 학습 가능한 파라미터이기 때문에, 네트워크가 데이터를 기반으로 최적의 값을 자동으로 찾을 수 있다. 이는 모델의 성능을 향상시키는 중요한 요소이다.

#### PReLU의 파라미터 학습

PReLU 함수에서의 핵심은 $ \alpha $ 파라미터의 학습이다. 이 파라미터는 역전파(backpropagation)를 통해 다른 가중치들과 함께 학습된다. 파라미터는 주어진 데이터에 따라 변화하며, 이는 네트워크가 보다 유연하게 다양한 데이터 패턴을 학습할 수 있도록 한다.

PReLU의 학습 과정에서 $ \alpha $ 값이 적절히 조정되지 않으면, 특정 상황에서는 ReLU와 유사한 형태를 취할 수도 있다. 하지만, 대체로 PReLU는 다양한 데이터 패턴을 더 잘 반영하는 결과를 제공한다.

#### PReLU와 Leaky ReLU의 비교

PReLU와 Leaky ReLU는 모두 ReLU의 변형 함수들이지만, 중요한 차이가 있다. Leaky ReLU에서는 음수 구간의 기울기 $ \alpha $가 고정된 값으로 주어진다. 보통 $ \alpha = 0.01 $로 설정된다. 반면, PReLU에서는 이 값이 학습 가능한다.

이로 인해, PReLU는 Leaky ReLU보다 더 유연하고, 데이터에 적합한 음수 구간 기울기를 찾는 데 더 적합한다. 반면, Leaky ReLU는 고정된 기울기를 사용하기 때문에 구현이 더 간단하고, 학습에 추가적인 부담이 없다.

#### PReLU의 한계

PReLU는 뛰어난 성능을 자랑하지만, 모든 경우에 항상 최선의 선택은 아니다. 추가적인 매개변수($ \alpha $)로 인해 모델의 복잡도가 증가할 수 있으며, 이는 특히 작은 데이터셋에서 과적합(overfitting)의 위험을 높일 수 있다. 또한, $ \alpha $ 값이 음수가 되는 경우, 음수 입력에 대한 기울기가 반전될 수 있어 예상치 못한 학습 결과를 초래할 수 있다.

***

관련 자료:

* Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, 2015.
* Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016.