# 기본 행렬의 정의 및 특성

#### 기본 행렬의 정의

기본 행렬(Fundamental Matrix, $\mathbf{F}$)은 두 카메라 사이의 기하학적 관계를 나타내는 중요한 행렬이다. 두 이미지 평면 간의 대응점을 연관시키는 역할을 하며, 스테레오 비전에서 주로 사용된다. 기본 행렬은 본질 행렬과 유사하지만, 카메라가 보정되지 않은 경우에도 사용할 수 있다는 차이점이 있다.

기본 행렬 $\mathbf{F}$는 두 카메라의 이미지 좌표계에서 표현된 점 $\mathbf{x}$와 $\mathbf{x'}$ 사이의 관계를 다음과 같이 나타낸다:

$$
\mathbf{x'}^{T} \mathbf{F} \mathbf{x} = 0
$$

여기서:

* $\mathbf{x}$: 첫 번째 이미지 좌표에서의 점을 나타내는 3차원 벡터 (동차 좌표계로 표현)
* $\mathbf{x'}$: 두 번째 이미지 좌표에서의 대응점을 나타내는 3차원 벡터 (동차 좌표계로 표현)
* $\mathbf{F}$: 3x3 기본 행렬

이 식은 두 이미지 평면 간의 에피폴라 기하학적 제약을 나타내며, 특정 점 $\mathbf{x}$가 첫 번째 이미지에서 주어졌을 때, 해당 점 $\mathbf{x'}$가 두 번째 이미지에서 위치할 수 있는 에피폴라인을 기술한다.

#### 기본 행렬의 특성

1. **랭크(rank) 제약**: 기본 행렬 $\mathbf{F}$의 랭크는 항상 2이다. 즉, $\mathbf{F}$는 완전한 계수를 가지지 않으며, 하나의 고유값이 0인 비가역 행렬이다. 이 특성은 두 카메라가 서로 다른 시점에서 동일한 3D 점을 관측할 때의 기하학적 관계를 반영한다.
2. **에피폴 제약**: 기본 행렬 $\mathbf{F}$는 에피폴라 제약을 만족한다. 즉, 두 이미지 평면에서 대응하는 점들이 각각의 에피폴라인에 위치하게 된다. 에피폴(점)은 각 카메라의 중심이 상대 카메라의 이미지 평면에서 투영된 위치이다.

$$
\mathbf{F} \mathbf{e} = 0
$$

여기서 $\mathbf{e}$는 에피폴을 나타내며, 기본 행렬의 칼럼 스페이스에 속하지 않는 벡터이다. 에피폴은 첫 번째 이미지에서의 점 $\mathbf{x}$가 두 번째 이미지에서의 에피폴라인 $\mathbf{l'}$로 변환될 때 다음과 같이 정의된다:

$$
\mathbf{l'} = \mathbf{F} \mathbf{x}
$$

이와 같이, 기본 행렬은 두 이미지 간의 대응점들을 에피폴라인으로 매핑하며, 이러한 관계를 통해 두 이미지 간의 대응을 효율적으로 찾을 수 있다.

#### 기본 행렬의 기하학적 해석

기본 행렬 $\mathbf{F}$는 두 카메라 간의 기하학적 배치를 설명하는 데 중요한 역할을 한다. 두 이미지 좌표계에서 대응하는 점 $\mathbf{x}$와 $\mathbf{x'}$는 각각의 에피폴라인 위에 존재하며, 이는 다음과 같은 관계를 따른다:

$$
\mathbf{l'} = \mathbf{F} \mathbf{x}, \quad \mathbf{l} = \mathbf{F}^{T} \mathbf{x'}
$$

여기서:

* $\mathbf{l'}$: 두 번째 이미지에서의 에피폴라인 (에피폴라 라인)
* $\mathbf{l}$: 첫 번째 이미지에서의 에피폴라인 (에피폴라 라인)

기본 행렬은 두 이미지 사이에서 대응되는 모든 점들을 에피폴라인으로 변환하여 서로 일치시키며, 에피폴라 기하학에 기반한 제약 조건을 부여한다. 예를 들어, 두 카메라로 촬영된 이미지에서 어떤 점이 한 이미지에 주어졌을 때, 그 점의 대응점은 다른 이미지에서 해당하는 에피폴라인 위에 위치하게 된다.

#### 기본 행렬과 에피폴라인

기본 행렬 $\mathbf{F}$는 각 이미지에서의 점이 다른 이미지에서의 에피폴라인으로 매핑되도록 한다. 첫 번째 이미지의 점 $\mathbf{x}$는 두 번째 이미지에서 에피폴라인 $\mathbf{l'}$에 매핑되며, 이는 다음과 같이 계산된다:

$$
\mathbf{l'} = \mathbf{F} \mathbf{x}
$$

마찬가지로, 두 번째 이미지의 점 $\mathbf{x'}$는 첫 번째 이미지에서 에피폴라인 $\mathbf{l}$에 매핑된다:

$$
\mathbf{l} = \mathbf{F}^{T} \mathbf{x'}
$$

에피폴라인의 기울기와 위치는 두 카메라 간의 상대적 위치 및 방향에 따라 달라지며, 기본 행렬은 이러한 관계를 효과적으로 모델링한다.

#### 카메라 매개변수와 기본 행렬의 관계

기본 행렬 $\mathbf{F}$는 카메라의 내부 및 외부 매개변수와 밀접한 관계가 있다. 내부 매개변수는 각 카메라의 초점 거리와 광학 중심을 포함하며, 외부 매개변수는 두 카메라 간의 상대적인 위치와 방향을 나타낸다. 일반적으로, 기본 행렬은 두 카메라 간의 상대적인 위치(번역)와 방향(회전)에 의해 정의된다.

기본 행렬 $\mathbf{F}$는 두 카메라 간의 상대적인 위치와 회전을 반영하는 기하학적 정보를 포함하고 있으며, 이를 다음과 같이 나타낼 수 있다:

$$
\mathbf{F} = \mathbf{K'}^{-T} \[\mathbf{t}]\_{\times} \mathbf{R} \mathbf{K}^{-1}
$$

여기서:

* $\mathbf{K}, \mathbf{K'}$: 각 카메라의 내부 파라미터 행렬
* $\mathbf{R}$: 두 카메라 간의 회전 행렬
* $\mathbf{t}$: 두 카메라 간의 번역 벡터
* $\[\mathbf{t}]\_{\times}$: $\mathbf{t}$의 스큐 대칭 행렬

이 식은 두 카메라 간의 기하학적 관계를 나타내며, 카메라 캘리브레이션에 의해 결정된 매개변수를 사용하여 기본 행렬을 계산할 수 있음을 보여준다.