# 균등분포 초기화 (Uniform Distribution Initialization)

균등분포 초기화는 신경망의 가중치를 설정할 때 사용되는 방법 중 하나로, 가중치가 일정한 범위 내에서 균등하게 분포되도록 초기화하는 기법이다. 이는 각 가중치가 동일한 확률로 특정 구간 내의 값을 가질 수 있도록 설정한다.

이 방법은 일반적으로 다음과 같은 균등분포를 따른다:

$ W \sim U\left(-\frac{1}{\sqrt{n}}, \frac{1}{\sqrt{n}}\right) $

여기서 $ n $은 해당 레이어의 입력 노드의 수를 의미하며, $ U(a, b) $는 구간 \[a, b]에서의 균등분포를 의미한다.

#### Xavier 초기화 (Glorot 초기화)

Xavier 초기화는 인공신경망에서 널리 사용되는 초기화 기법 중 하나로, 균등분포 초기화의 한 형태이다. Xavier 초기화는 활성화 함수가 시그모이드 함수나 하이퍼볼릭 탄젠트 함수일 때 신경망의 가중치를 초기화하는 데 적합한다. 이 기법은 출력값의 분산을 일정하게 유지하여 기울기 소실 문제를 완화하는 것을 목표로 한다.

#### 균등분포 초기화의 장점과 단점

**장점**:

1. **단순성**: 구현이 쉽고 계산이 간단한다.
2. **균일한 시작**: 모든 가중치가 동일한 범위에서 시작하므로 초기 학습 과정이 공평한다.

**단점**:

1. **비선형성 문제**: 비선형 활성화 함수와 결합되면, 특정 초기화는 기울기 소실 또는 폭발 문제를 유발할 수 있다.
2. **네트워크 깊이에 민감**: 깊은 네트워크에서는 균등분포 초기화만으로는 충분하지 않을 수 있다.

#### He 초기화

He 초기화는 ReLU (Rectified Linear Unit)와 같은 활성화 함수에 최적화된 초기화 방법이다. 이 초기화 방법은 Xavier 초기화와 비슷하지만, 분산을 더 크게 설정하여 ReLU 함수에서 발생할 수 있는 문제를 해결한다.

#### 균등분포 초기화의 수학적 배경

균등분포 초기화에서 가중치는 일정 범위 내에서 랜덤하게 선택된다. 이때 각 가중치의 기대값은 0이 되고, 분산은 범위에 따라 결정된다. 분산이 너무 크거나 작으면 학습이 비효율적일 수 있으므로, 초기화 범위를 신중하게 선택해야 한다. 가중치 초기화에서 중요한 것은 학습 초기 단계에서 각 층의 출력을 특정 범위 내에서 일정하게 유지하는 것이다.

균등분포 초기화의 수학적 배경은 주로 확률 이론과 통계적 개념에 기초한다. 이 방법을 사용하는 이유는 네트워크의 모든 가중치가 동일한 확률로 선택되어야 하며, 이는 학습 알고리즘이 모든 방향에서 공평하게 시작하도록 보장한다.

***

**관련 자료:**

* Glorot, X., & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS).
* He, K., Zhang, X., Ren, S., & Sun, J. (2015). Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. Proceedings of the IEEE International Conference on Computer Vision (ICCV).