# Elastic Net (엘라스틱 넷)

Elastic Net(엘라스틱 넷)은 선형 회귀 모델을 Regularization하는 기법 중 하나다. 이는 Ridge Regression(릿지 회귀)과 Lasso Regression(라쏘 회귀)을 결합하여 두 기법의 장점을 모두 취하는 모델이다. 릿지 회귀는 모델의 가중치 크기를 제한함으로써 과적합(overfitting)을 방지하고, 라쏘 회귀는 변수 선택(variable selection)을 가능하게 한다. 엘라스틱 넷은 이러한 두 가지 기법을 동시에 적용함으로써 더 나은 성능을 도모한다.

#### 수학적 정의

엘라스틱 넷의 목적 함수는 다음과 같이 정의된다.

$$
\min\_{\beta} \left{ \frac{1}{2N} \sum\_{i=1}^{N} \left( y\_i - \mathbf{x}\_i^\top \beta \right)^2 + \lambda\_1 |\beta|\_1 + \lambda\_2 |\beta|\_2^2 \right}
$$

여기서 $ \beta $는 회귀 계수 벡터, $ \lambda\_1 $은 L1 정규화(Lasso)의 조절 파라미터, $ \lambda\_2 $는 L2 정규화(Ridge)의 조절 파라미터를 의미한다. $ |\beta|\_1 $은 $ \beta $의 L1 노름, $ |\beta|\_2 $는 L2 노름을 의미한다.

엘라스틱 넷은 $ \lambda\_1 $과 $ \lambda\_2 $ 두 가지 조절 파라미터를 통해 모델이 적절한 가중치를 찾을 수 있게 한다. 이 두 파라미터의 조합은 모델이 과적합을 방지하면서도, 불필요한 변수는 자동으로 선택되지 않게 한다.

#### 특성 및 장점

Elastic Net의 주요 특성 중 하나는 변수 선택과 정규화를 동시에 수행할 수 있다는 점이다. 이는 다음과 같은 이유로 중요하다:

1. **변수 선택의 유연성**: 라쏘 회귀는 변수 선택을 가능하게 하지만, 상관관계가 높은 변수들 중 하나만 선택하는 경향이 있다. 엘라스틱 넷은 이 문제를 완화하여 상관관계가 높은 변수들 모두를 선택할 수 있다.
2. **가중치 축소**: 릿지 회귀처럼 모든 회귀 계수의 크기를 줄임으로써 모델의 복잡성을 조절한다. 이를 통해 과적합을 방지할 수 있다.
3. **하이브리드 접근법**: 두 가지 정규화 기법을 결합함으로써, 엘라스틱 넷은 단순한 라쏘 또는 릿지 회귀보다 더 넓은 범위의 문제에 적용 가능한다.

#### Hyperparameter 튜닝

Elastic Net은 두 개의 하이퍼파라미터, 즉 $ \lambda\_1 $과 $ \lambda\_2 $를 조정해야 한다. 이는 교차 검증(cross-validation) 등을 통해 최적화할 수 있다. 이 과정에서 $ \lambda\_1 $과 $ \lambda\_2 $의 비율($ \alpha $)을 조정하여 라쏘와 릿지의 가중치를 조절할 수 있다. 예를 들어, $ \alpha = 0.5 $는 라쏘와 릿지의 영향력이 동일하게 반영되도록 한다.

#### 계산 복잡도

Elastic Net은 계산 비용이 Lasso와 Ridge 회귀보다 크지만, 상관관계가 있는 변수들을 동시에 다룰 수 있다는 장점이 있다. 이는 특히 다중 공선성이 존재하는 데이터셋에서 유리한다. 계산 복잡도는 데이터셋의 크기와 선택된 하이퍼파라미터에 따라 달라질 수 있다. 일반적으로는 반복 알고리즘(iterative algorithm)을 통해 최적해를 찾는다.

***

관련 자료:

* Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. *Journal of the Royal Statistical Society: Series B (Statistical Methodology)*, 67(2), 301-320.
* Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization Paths for Generalized Linear Models via Coordinate Descent. *Journal of Statistical Software*, 33(1), 1-22.