# 잡음 감소 기법을 통한 정확도 향상

#### 잡음의 원인과 형태

에피폴라 기하학에서 잡음은 다양한 원인에 의해 발생하며, 주로 카메라의 센서 노이즈, 이미지에서 발생하는 픽셀의 불연속성, 그리고 매칭 오류로 인해 나타난다. 이러한 잡음은 에피폴라 기하학에 적용될 때 이미지 매칭의 정확도를 저하시킬 수 있다. 잡음은 보통 **가우시안 잡음**이나 **소금과 후추 잡음** 형태로 나타나며, 특히 에피폴라 기하학에서 이미지 좌표 매칭에 큰 영향을 미친다.

#### 잡음 감소 필터

에피폴라 기하학에서 잡음 감소를 위해 주로 사용되는 필터는 다음과 같다:

1. **가우시안 블러(필터):** 가우시안 블러는 이미지를 스무딩하여 노이즈를 줄이기 위한 필터이다. 가우시안 함수에 따라 각 픽셀의 주변 값들을 가중 평균하여 처리한다. 가우시안 함수는 다음과 같은 형태로 정의된다:

$$
G(x, y) = \frac{1}{2\pi\sigma^2} e^{-\frac{x^2 + y^2}{2\sigma^2}}
$$

여기서 $\sigma$는 필터의 표준 편차를 의미하며, $(x, y)$는 이미지 좌표이다. 가우시안 블러를 적용함으로써 고주파 성분을 줄이고, 매칭 오류를 줄일 수 있다.

2. **미디언 필터:** 미디언 필터는 비선형 필터로서, 소금과 후추 잡음과 같은 극단적인 픽셀 값의 영향을 제거하는 데 유용하다. 이미지의 각 픽셀을 주변 픽셀 값의 중간값으로 대체한다. 미디언 필터는 다음과 같이 계산된다:

$$
I'(x, y) = \text{median} { I(x + i, y + j) \mid (i, j) \in \text{Window} }
$$

여기서 $I(x, y)$는 원본 이미지 픽셀 값, $I'(x, y)$는 필터가 적용된 픽셀 값이며, 주어진 윈도우 내의 중간값을 선택하여 노이즈를 제거한다.

#### 에피폴라 기하학에서 필터 적용의 효과

잡음 감소 필터를 에피폴라 기하학에 적용할 때 중요한 점은 필터가 에피폴라인과 같은 중요한 기하학적 정보를 보존해야 한다는 것이다. 필터 적용 후에도 이미지 좌표계에서 에피폴라인을 정확히 추정할 수 있어야 하며, 이는 정확한 **기본 행렬** $\mathbf{F}$와 **본질 행렬** $\mathbf{E}$ 계산에 필수적이다.

#### 서브픽셀 정밀도와 잡음 제거

잡음 제거가 에피폴라 기하학에서 중요한 이유 중 하나는 서브픽셀 정밀도의 매칭을 요구하기 때문이다. 에피폴라인 상에서 두 이미지 사이의 대응점을 찾을 때, 픽셀 단위가 아닌 서브픽셀 단위에서의 정밀도가 필수적이다. 이를 달성하기 위해서는 잡음 제거 후 이미지에서 세밀한 특징을 유지해야 하며, 매칭 정확도를 높이는 방법들이 적용된다.

#### Bilateral 필터

Bilateral 필터는 가우시안 블러와 유사하지만, 이미지의 경계선을 보존하면서 스무딩하는 특성이 있다. 이는 에피폴라 기하학에서 잡음이 제거되면서도 중요한 구조적 정보를 유지할 수 있게 한다. Bilateral 필터는 공간적 거리와 픽셀 값 차이 모두를 고려하는 방식으로 정의된다:

$$
I'(x, y) = \frac{1}{W\_p} \sum\_{x\_i, y\_i} I(x\_i, y\_i) \cdot f\_s(| (x\_i, y\_i) - (x, y) |) \cdot f\_r(| I(x\_i, y\_i) - I(x, y) |)
$$

여기서 $f\_s$는 공간 도메인의 가우시안 가중치를 의미하며, $f\_r$는 픽셀 값의 차이에 따른 가중치를 나타낸다. $W\_p$는 정규화 상수로, 전체 가중치의 합이다. Bilateral 필터는 이미지의 윤곽선과 중요한 세부 구조를 유지하면서 잡음을 효과적으로 제거할 수 있어, 에피폴라 기하학에서의 매칭 정확도에 긍정적인 영향을 미친다.

#### 스테레오 매칭에서의 정규화 상관 기법 (Normalized Cross-Correlation)

정규화 상관 기법은 두 이미지 간의 대응점을 찾는 데 자주 사용된다. 노이즈가 적은 환경에서는 매우 효율적으로 대응점을 찾을 수 있지만, 노이즈가 포함된 이미지에서는 성능이 저하된다. 이를 개선하기 위해 잡음 제거 필터가 적용된 후, 이 기법을 적용하는 것이 일반적이다.

정규화 상관은 두 이미지 패치 사이의 상관 관계를 측정하는 방법으로, 다음과 같이 정의된다:

$$
NCC(I\_1, I\_2) = \frac{\sum (I\_1(x, y) - \bar{I}\_1)(I\_2(x, y) - \bar{I}\_2)}{\sqrt{\sum (I\_1(x, y) - \bar{I}\_1)^2 \sum (I\_2(x, y) - \bar{I}\_2)^2}}
$$

여기서 $I\_1(x, y)$와 $I\_2(x, y)$는 두 이미지 패치에서의 픽셀 값이며, $\bar{I}\_1$과 $\bar{I}\_2$는 각 패치의 평균 값이다. 필터링을 통해 노이즈를 감소시킨 후에 이 상관 관계를 계산하면 보다 정확한 대응점 추정이 가능한다.

#### RANSAC을 통한 잡음 저항성 강화

에피폴라 기하학에서는 잡음으로 인해 잘못된 대응점이 생길 수 있으며, 이를 효과적으로 제거하기 위해 **RANSAC** 알고리즘이 많이 사용된다. RANSAC은 반복적으로 샘플을 추출하여 모델을 학습하고, 데이터 내의 이상치를 제거하는 방식이다. 에피폴라 기하학에서는 주로 **기본 행렬** $\mathbf{F}$ 또는 **본질 행렬** $\mathbf{E}$을 추정할 때 사용되며, 잡음이 포함된 데이터에서도 상당한 성능을 발휘한다. RANSAC 알고리즘의 과정은 다음과 같다:

1. 데이터에서 무작위로 서브셋을 선택하여 모델을 학습.
2. 선택한 모델을 전체 데이터에 적용하여 적합성을 평가.
3. 이상치(outlier)를 제거한 후 최적의 모델을 선택.

잡음이 포함된 환경에서도 RANSAC을 사용하면 잘못된 대응점으로 인해 기본 행렬이나 본질 행렬의 정확도가 떨어지는 문제를 방지할 수 있다.

#### Kalman 필터를 이용한 에피폴라 기하학에서의 잡음 제거

\*\*칼만 필터(Kalman Filter)\*\*는 잡음이 있는 환경에서 상태 변수(예: 이미지 좌표, 대응점 등)를 추정하는 데 유용하다. 특히, 에피폴라 기하학에서 스테레오 비전이나 다중 뷰 기하학에서 잡음이 존재하는 상황에서도 정확한 대응점 추정을 가능하게 한다. 칼만 필터는 선형 동적 시스템에서 상태를 추정하는 필터로, 다음과 같은 단계로 구성된다:

1. **예측 단계:** 상태 변수 $\mathbf{x}\_{k-1}$의 추정치를 기반으로 다음 시간 단계에서의 상태 $\mathbf{x}\_k$를 예측한다.

$$
\mathbf{x}*k = \mathbf{A} \mathbf{x}*{k-1} + \mathbf{B} \mathbf{u}*{k-1} + \mathbf{w}*{k-1}
$$

여기서 $\mathbf{A}$는 상태 전이 행렬, $\mathbf{B}$는 제어 행렬, $\mathbf{u}*{k-1}$은 제어 입력, $\mathbf{w}*{k-1}$은 시스템 노이즈(process noise)을 의미한다.

2. **업데이트 단계:** 측정된 값을 기반으로 상태 추정치를 업데이트한다. 측정값 $\mathbf{z}\_k$와 예측 상태값을 비교하여 새로운 추정값을 계산한다.

$$
\mathbf{x}\_k = \mathbf{x}\_k + \mathbf{K}\_k(\mathbf{z}\_k - \mathbf{H}\mathbf{x}\_k)
$$

여기서 $\mathbf{K}\_k$는 칼만 이득(Kalman gain), $\mathbf{H}$는 측정 행렬, $\mathbf{z}\_k$는 측정된 값을 나타낸다.

칼만 필터는 에피폴라 기하학에서 스테레오 매칭 및 삼각 측량을 통해 얻은 잡음이 포함된 대응점을 부드럽게 추정하여, 보다 정확한 매칭 결과를 도출할 수 있다. 이 필터는 특히 동적 환경에서 이미지 프레임 간의 대응점 추정에 유용하다.

#### 이미지 피라미드와 멀티 스케일 접근법

에피폴라 기하학에서 이미지의 특징을 잡음으로부터 보호하기 위해 **멀티 스케일 접근법**이 사용된다. 이는 이미지의 여러 해상도에서 특징을 추출하고, 각 스케일에서의 잡음 영향을 최소화하는 방식이다. 이미지 피라미드는 연속적인 다운샘플링을 통해 여러 스케일의 이미지를 생성하며, 이를 통해 각 스케일에서 잡음에 민감하지 않은 특징을 추출할 수 있다.

이미지 피라미드는 보통 **가우시안 피라미드**로 구성되며, 각 단계에서 가우시안 블러를 적용한 후 다운샘플링한다. 이를 통해 잡음의 영향을 줄이고, 다양한 해상도에서 특징을 비교함으로써 보다 정밀한 매칭 결과를 얻을 수 있다.

$$
I^{\text{low}}(x, y) = \sum\_{i=-k}^{k} \sum\_{j=-k}^{k} G(i, j) I(x+i, y+j)
$$

여기서 $I^{\text{low}}(x, y)$는 저해상도 이미지, $G(i, j)$는 가우시안 블러, $I(x, y)$는 원본 이미지이다.