우도 (Likelihood, 우도)

우도의 정의

우도(Likelihood)는 확률론과 통계학에서 매우 중요한 개념으로, 주어진 데이터가 특정한 모수(parameter) 하에서 관측될 가능성을 나타내는 함수이다. 우도는 확률과 유사하지만, 서로 다른 점이 있다. 확률은 보통 모수(parameter)가 고정된 상태에서 특정한 사건이 발생할 확률을 의미한다. 반면에, 우도는 주어진 데이터가 관측된 상황에서, 그 데이터를 만들어낸 모수를 추정하기 위한 도구로 사용된다.

즉, 우도 함수는 데이터를 입력으로 받아, 모수를 출력으로 내보내는 함수로, 주어진 데이터가 특정 모수 하에서 발생할 "가능성"을 측정한다.

우도 함수

우도 함수(Likelihood function)는 확률 밀도 함수나 확률 질량 함수를 특정 모수에 대한 함수로 재해석한 것이다. 예를 들어, 확률 밀도 함수 $ f(x|\theta) $가 주어져 있을 때, 우도 함수는 관측된 데이터 $ x_1, x_2, \dots, x_n $에 대해 다음과 같이 정의된다.

L(\theta) = f(x_1|\theta) \times f(x_2|\theta) \times \dots \times f(x_n|\theta)

이 식에서 $ L(\theta) $는 모수 $ \theta $가 주어진 데이터 세트를 설명할 우도를 나타낸다. 데이터가 독립적이고 동일한 분포를 따르는 경우, 이 식은 개별 데이터의 확률 밀도 함수의 곱으로 표현될 수 있다.

우도와 로그 우도

실제 계산에서 우도를 직접 사용하는 것보다는 로그 우도(log-likelihood)를 사용하는 경우가 많다. 로그 우도는 우도 함수의 자연로그를 취한 함수로 정의되며, 수식적으로는 다음과 같다.

\ell(\theta) = \log L(\theta)

로그 우도를 사용하는 이유는 다음과 같다:

곱셈 연산 대신 덧셈 연산을 사용할 수 있어 계산이 더 간단해진다.
로그 함수는 단조 증가 함수이므로, 우도를 최대화하는 $ \theta $는 로그 우도를 최대화하는 $ \theta $와 동일한다.

로그 우도는 통계 모델에서 모수 추정을 위한 중요한 도구로 사용되며, 특히 최대 우도 추정(Maximum Likelihood Estimation, MLE)에서 널리 활용된다.

최대 우도 추정

최대 우도 추정은 관측된 데이터를 가장 잘 설명하는 모수 $ \theta $를 찾는 방법이다. 이 방법에서 우리는 우도 함수 $ L(\theta) $를 최대화하는 $ \theta $를 찾는다. 수학적으로 이는 다음과 같은 문제를 해결하는 것이다.

\hat{\theta} = \arg\max_{\theta} L(\theta)

혹은 로그 우도를 사용하여,

\hat{\theta} = \arg\max_{\theta} \ell(\theta)

이 된다. 최대 우도 추정 방법은 주어진 데이터에 대해 가장 적합한 모수를 추정하는 데 사용되며, 다양한 통계 모델에서 핵심적인 역할을 한다.

우도의 성질

우도는 몇 가지 중요한 성질을 갖는다:

비정규화: 우도 함수는 확률처럼 1로 정규화되지 않으며, 따라서 $ L(\theta) $는 항상 확률 밀도 함수처럼 해석될 필요는 없다. 이는 우도가 데이터에 의존하는 함수이기 때문이다.
비대칭성: 우도는 모수와 데이터 간에 비대칭적이다. 확률은 보통 모수가 주어졌을 때 데이터가 발생할 확률을 나타내지만, 우도는 주어진 데이터가 특정 모수 하에서 발생할 가능성을 나타낸다.
상대적 크기: 우도 함수의 절대적 크기보다는, 모수 간의 상대적 우도 비교가 더 중요하다. 예를 들어, 두 모수 $ \theta_1 $과 $ \theta_2 $가 주어졌을 때 $ L(\theta_1) $과 $ L(\theta_2) $를 비교하여 어느 모수가 더 데이터에 적합한지를 평가할 수 있다.
데이터 수 증가에 따른 변화: 우도는 일반적으로 데이터 수가 증가함에 따라 더 명확한 최대치를 가지게 되며, 이는 모수 추정의 정확성을 높인다.

다변량 우도

우도는 다변량 데이터에도 확장될 수 있다. 다변량 우도(multivariate likelihood)는 여러 개의 관측치나 여러 개의 변수를 포함하는 상황에서, 각 변수의 우도 함수를 곱하거나 결합하여 사용한다. 다변량 우도 함수는 다음과 같은 형태를 가질 수 있다.

L(\theta) = \prod_{i=1}^n f(x_i|\theta)

이 식에서 $ x_i $는 다차원 데이터 벡터일 수 있으며, $ f(x_i|\theta) $는 다변량 확률 밀도 함수이다. 다변량 우도는 여러 변수가 상호작용하는 복잡한 데이터 집합에서 모수 추정을 수행할 때 유용하다.

hashtag우도의 정의

hashtag우도 함수

hashtag우도와 로그 우도

hashtag최대 우도 추정

hashtag우도의 성질

hashtag다변량 우도