전산 구현 과정에서의 오차 축소 방법
부동소수점(Floating-Point) 표현과 라운딩
컴퓨터가 실수를 표현할 때는 유리수나 무리수를 완벽하게 나타내지 못한다. 이는 이진 부동소수점 수 체계 때문이며, 대부분의 현대 컴퓨터는 IEEE 754 표준을 따른다. 예를 들어 배정밀도(double precision)에서 실수는 유효숫자 자릿수가 약 15~16자리에 한정되므로, 연산 과정에서 여러 형태의 불가피한 오차가 발생한다. 이러한 오차는 크게 라운딩(rounding)과 절단(truncation)으로 구분할 수 있지만, 실무적 측면에서 ‘라운딩 오차(round-off error)’라는 용어로 통칭하는 경우가 많다.
배정밀도 부동소수점 수는 다음과 같이 표현될 수 있다.
여기서 $s$는 부호(sign)을 나타내는 비트, $m_1, m_2, \dots, m_{p-1}$는 유효숫자(significand) 비트들, $e$는 지수(exponent) 비트들의 조합으로 해석되는 정수, $q$는 지수부 표현이 담당하는 최대 자릿수이며, $p$는 가수부의 비트 개수(유효숫자 자리수)에 해당한다.
가령 $p=53$, $q=11$(배정밀도)이면 이진수로 표현 가능한 유효숫자가 최대 53비트이고, 지수는 $11$비트 범위에서 표현된다. 실제로는 지수값에 오프셋이 적용되어 특정 범위를 ±무한대로 확장하도록 설계된다. 그러나 유효숫자 자릿수가 제한되어 있기 때문에, 연산 결과가 매우 작은 수 혹은 매우 큰 수로 이어지면 점차 상대오차(relative error)가 커지거나 언더플로우(underflow), 오버플로우(overflow)가 발생하게 된다.
연산 중 일어나는 라운딩 오차는 기본적으로 한 번의 연산마다 최대 $0.5 \times 2^{-p}$ 정도의 이진 오차를 포함한다. 이를 최소화하기 위해서는 중간 연산의 횟수를 줄이고, 특히 의도치 않은 큰 수와 작은 수의 덧셈/뺄셈을 피하는 것이 중요하다. 아래 예시는 아주 큰 수 $M$과 매우 작은 수 $\varepsilon$을 더할 때 발생하는 ‘상대적’ 손실을 단적으로 보여준다.
이때 $M$과 $\varepsilon$의 비가 지나치게 크면, $\varepsilon$가 반올림되어 버려 계산 결과에서 사실상 사라지게 된다. 이는 부동소수점 표현의 필연적 한계이며, 연산 순서를 변경하거나 정규화 기법을 적용해 어느 정도 완화할 수 있다.
연산 순서와 수치적 안정성
수치 알고리즘에서의 ‘안정성(stability)’은 작은 오차가 결과에 어떻게 증폭되는가와 긴밀히 관련된다. 특정 알고리즘이 이론적으로 정확하더라도, 전산 구현 과정에서 치명적 수준으로 오차가 누적되어 실제로는 쓸 만한 답을 얻지 못하는 사례가 있다. 이를 '수치적 불안정(numerical instability)'이라고 한다.
예를 들어, 다항식의 근을 구할 때, (x−r1)(x−r2)…(x−rn)(x - r_1)(x - r_2)\dots(x - r_n) 형태로 직접 전개해 다항식을 계산하면 매우 큰 계수와 작은 계수가 섞여 있을 수 있고, 이로 인해 수치오차가 현저하게 발생한다. 따라서 고전적인 Horner’s scheme을 이용해 ‘안정된’ 방식으로 다항식을 계산하는 것이 일반적이다.
하나의 예시로, 어떤 실수들의 합 $a_1 + a_2 + \dots + a_n$을 구할 때도 연산 순서에 따라 오차가 달라진다. 일반적으로 가장 큰 수부터 작은 수 순으로 더하면 무시되는 항이 발생하기 쉽고, 결과적 오차가 커진다. 이를 개선하기 위한 전략 중 하나가 Kahan Summation Algorithm이다. 구현 예시는 다음과 같다.
이 알고리즘은 덧셈 과정에서 사라지는 작은 항들을 보정하기 위한 변수 $c$를 유지하여, 전통적인 누적 합보다 훨씬 나은 정밀도를 제공한다. 특히, 서로 다른 스케일의 수들이 섞여 있을 때 효율적이다.
선형대수 알고리즘에서의 오차 축소
선형대수 알고리즘을 구현할 때 생기는 대표적 수치오차 문제는 대규모 행렬 연산에서 발생한다. 예를 들어, $n \times n$ 행렬 $\mathbf{A}$를 풀가우스 소거법(full Gaussian elimination)을 통해 LU 분해하는 경우, 수치오차를 줄이기 위해선 부분 피봇팅(partial pivoting) 이상의 전략을 고려해야 한다. 부분 피봇팅에서는 매 단계에서 피벗(pivot)이 될 원소를 그 열에서 가장 큰 절댓값을 갖는 요소로 교환해, $\mathbf{A}$의 행 교환을 수행한다.
만약 수치적으로 매우 불안정한 형태의 계수행렬이라면, 완전 피봇팅(full pivoting)이나 정교한 스케일링(scaling) 전략을 추가해야 할 수도 있다. 그러나 완전 피봇팅은 연산량이 커지므로, 실제로는 부분 피봇팅만으로도 상당히 안정적인 결과를 얻을 수 있는 경우가 많다.
직교성(orthogonality)을 기반으로 한 QR 분해나, 특잇값 분해(SVD) 같은 알고리즘들은 수치적으로 비교적 안정성이 좋다. 예를 들어 QR 분해에서 Householder 변환이나 Givens 회전을 사용하면, 라운딩 오차에 상대적으로 강인한 형태의 분해를 얻을 수 있다. Householder 변환을 이용한 QR 분해는 고계산량이라는 단점이 있지만, 큰 스케일의 선형 시스템 해석 시에도 오차 전파가 작아 구현 안정성이 매우 높다.
특히 SVD는 행렬의 고윳값 분해와 비슷하지만 모든 행렬에 대해 존재하며(직사각형인 경우에도), 잡음 제거나 역조건 문제(ill-conditioned problem)에서도 효과적인 방식으로 알려져 있다. 만약 $\mathbf{A}$를 $m \times n$ 행렬이라고 할 때,
여기서 $\mathbf{U}$는 $m \times m$ 직교 행렬, $\mathbf{V}$는 $n \times n$ 직교 행렬, $\Sigma$는 대각선에 특잇값이 정렬된 $m \times n$ 행렬이다. $\mathbf{A}$가 ill-conditioned라면, 작은 특잇값에 해당하는 성분들이 작은 교란에도 크게 요동할 수 있으므로, 이를 적절히 절삭(truncation)하거나 정규화(regularization)하는 방식으로 해석한다. 이러한 분해 기반 접근은 수치 해석에서 오차를 축소하는 중요한 도구로 활용된다.
고계 정밀도 연산 기법
기본적인 배정밀도(64비트) 혹은 단정밀도(32비트)만으로는 부족할 때, 확장 정밀도(extended precision)나 소프트웨어 기반의 다중 정밀도 연산(multi-precision arithmetic)을 사용하기도 한다. 예컨대 일부 언어에는 내장 혹은 라이브러리 형태로 고계 정밀도 자료형이 제공되며, Python의 decimal 모듈이나 fractions 모듈이 그 예다. 이러한 방법을 통해 ‘정확도’가 우선시되는 문제에서 오차 누적을 현저히 줄일 수 있지만, 연산 속도가 급격히 느려진다는 대가가 따른다.
고계 정밀도를 사용할지 여부는 문제의 규모, 요구되는 오차 한계, 허용 계산 시간 등에 의해 결정된다. 지나치게 큰 정밀도를 무조건 적용하는 것이 최적은 아니며, 문제의 조건수를 비롯하여 해당 알고리즘의 안정성을 면밀히 따져 선택해야 한다.
조건수(Condition Number)와 근사 해석
수치 알고리즘에서 문제의 조건수(condition number)는 오차 확산을 가늠하는 지표로 쓰인다. 예를 들어, 선형 시스템 $\mathbf{A}\mathbf{x} = \mathbf{b}$에서 $\mathbf{A}$가 역행렬을 갖는 정방 행렬이라면, $||\mathbf{A}^{-1}|| , ||\mathbf{A}||$로 정의되는 2-노름 조건수 $\kappa_2(\mathbf{A})$가 크면 작은 교란에 대해서도 해 $\mathbf{x}$가 크게 변화하기 쉽다. 즉,
가 매우 큰 행렬은 ‘ill-conditioned’하다고 말하며, 이 경우 전산 구현 과정에서 반올림 오차가 다소간 누적되기만 해도 결과 오차가 크게 증폭될 수 있다. 이러한 문제에서 오차를 축소하기 위해서는 피봇팅, 스케일링 등 기본적인 안정화 기법 외에도, 문제 자체를 재구성(reformulation)하거나 사전·사후 처리를 통해 상태를 개선하는 전략이 필요하다.
반복적 개선(Iterative Refinement)
선형 시스템 해석에서 대표적인 오차 축소 테크닉 중 하나로 ‘반복적 개선(iterative refinement)’ 기법이 있다. 먼저 배정밀도(double precision)로 계수를 계산해 해를 구한 뒤, 해당 해로부터 잔차(residual)를 구하고 다시 이를 보정함으로써 한 번의 해석만으로는 얻기 어려운 정밀도를 도모한다. 대략적인 알고리즘 개념은 다음과 같다.
초기에 $\mathbf{x}_0$를 대충 구했다 하더라도, 잔차 $\mathbf{r} = \mathbf{b} - \mathbf{A}\mathbf{x}_0$에 대해 $\mathbf{A}^{-1} \mathbf{r}$을 (재)계산해 $\mathbf{x}_0$에 더해주는 과정을 여러 번 반복하면, 특히 $\mathbf{A}$가 비교적 잘-conditioned한 경우 해가 점진적으로 개선될 수 있다. 만약 $\mathbf{A}$가 매우 ill-conditioned라면 이 기법으로 큰 개선을 얻기 어렵거나, 반대로 수치오차가 계속 축적되는 상황에 빠질 수 있다.
간격 연산(Interval Arithmetic)
정수나 유리수 연산과는 달리 부동소수점 연산에서 오차는 불가피하다. 이를 좀 더 체계적으로 추적하려는 시도가 간격 연산(interval arithmetic)이다. 예컨대 실제 값이 특정 구간에 속함을 전제하고, 각 연산마다 결과가 포함되는 구간을 명시적으로 계산해간다. 부동소수점에서 필연적으로 발생하는 반올림 오차가 구간의 폭으로 반영되므로, 최종 결과가 $[a, b]$라는 간격으로 표현될 수 있다.
간격 연산에서 덧셈을 예로 들면, 두 구간 $[x_\text{min}, x_\text{max}]$와 $[y_\text{min}, y_\text{max}]$을 더할 때 결과 구간은
가 된다. 실제 구현에서는 부동소수점 라운딩을 반영해 $x_\text{min}+y_\text{min}$을 라운딩할 때, 가능한 한 오차 범위를 포함시키도록 해야 한다. 이 방식을 통해 계산 과정 전반에서 ‘최악의 경우’ 오차 범위를 추적할 수 있다는 장점이 있으나, 구간 폭이 기하급수적으로 늘어나 해석적 의미가 떨어질 수 있다는 단점도 있다.
그럼에도 불구하고 유한구간 내에서의 안전한 최댓값·최솟값 검증, 혹은 공차를 허용하지 않는 엄밀 계산 등에 간격 연산이 활용되는 경우가 있다. 특히 공학적인 안정성 검증, 안전 계수 등을 수립할 때 주로 응용된다.
전처리(Preconditioning) 기법
선형 시스템 해석이나 고차원 모델에서 $\mathbf{A}$의 조건수가 매우 나쁠 때는, 적절한 전처리(preconditioning)를 통해 $\mathbf{A}$의 수치적 성질을 개선할 수 있다. 전처리란 대체로
형태로 문제를 바꾸어 $\mathbf{M}^{-1}\mathbf{A}$가 ‘잘-conditioned’해지도록 만드는 작업이다. $\mathbf{M}$은 대략 $\mathbf{A}$에 가까운 행렬이면서도 역행렬을 효율적으로 구하거나 적어도 $\mathbf{M}\mathbf{z} = \mathbf{r}$ 꼴로 빠르게 풀 수 있도록 설계된다.
전처리를 통해 반복해법(예: CG, GMRES 등)의 수렴 속도가 크게 향상될 수 있으며, 반올림 오차 또한 간접적으로 줄어들 수 있다. 전처리 행렬은 스파스(sparse) 구조나 행렬 대각원소를 이용하는 간단한 대각 전처리부터, ILU(Incomplete LU) 등 좀 더 정교한 기법까지 다양하게 존재한다. 결국 전처리는 ‘조건수 개선을 통한 오차 축소’라는 핵심 취지로 해석할 수 있다.
정수 연산 기반 알고리즘
부동소수점 오차가 매우 중요하게 작용하는 경우, 일부 알고리즘은 정수 연산(integer arithmetic)만을 활용해 유리수 형태로 계산 과정을 엄밀하게 추적하기도 한다. 예컨대 분수(정수 쌍)로 나타내어 내부적으로 모든 계산을 수행한 뒤, 최종 결과를 필요에 따라 부동소수점으로 변환하는 식이다. 파이썬의 fractions 모듈은 이러한 방식을 간편하게 제공한다.
그러나 분수 표현은 중간에 분자의 크기가 폭발적으로 커지는 문제가 있으므로, 대규모 데이터나 고차원 계산에서는 비효율적일 수 있다. 적절한 기약분수(irreducible fraction) 유지가 필수이지만, 그 과정에서 매번 최대공약수(GCD)를 구해야 하며, 이 역시 연산량이 상당해진다. 따라서 엄밀도가 절대적으로 중요한 특정 분야(암호학, 정밀 기하 계산 등)에서만 쓰이거나, 고정소수점 연산과 혼합해 활용되곤 한다.
혼합 정밀도(Mixed Precision) 연산 기법
최근 하드웨어 구조와 알고리즘 설계의 발전으로, 서로 다른 정밀도 수준을 조합하여 연산 성능과 정확도를 동시에 노리는 혼합 정밀도(mixed precision) 방식이 주목받고 있다. 예컨대 그래픽 처리장치(GPU)나 최근의 CPU에서는 단정밀도(32비트) 혹은 반정밀도(16비트) 연산이 고속으로 동작하고, 이를 통해 대규모 반복 알고리즘의 ‘초기’ 단계 계산을 빠르게 진행하면서, 특정 부분에서는 배정밀도(64비트)나 심지어 고배정밀도 연산을 적용해 전체 오차를 통제하는 식이다.
혼합 정밀도 알고리즘은 전통적인 ‘단일 정밀도’ 계산보다 복잡해 보이지만, 수렴 과정에서 정확도가 민감한 구간만큼은 높은 정밀도로 보완하여 결과적으로 전체 오차를 줄일 수 있다. 예를 들어 큰 규모의 선형 시스템 해석이나 심층 신경망 계산 시, 대다수 연산을 반정밀도(16비트)로 수행하고 그 잔차나 최종 보정 과정에 한해 배정밀도를 사용하는 구조가 가능하다. 이렇게 하면 메모리 대역폭과 전력 소모 측면에서 절감을 얻으면서, 최종 해의 정확도를 어느 정도 확보한다.
아래 그림은 혼합 정밀도 연산의 기본적인 개념 흐름을 도식적으로 나타낸 예시다.
여기서 저정밀도 단계에서 매우 빠른 연산으로 대략적인 결과를 얻고, 잔차나 보조 지표를 통해 오차가 일정 기준 이상이라고 판단되면 고정밀도 연산(혹은 추가 보정)을 수행한다. 이 과정을 반복적으로 적용하면, 전반적인 계산 효율을 유지하면서 정확도를 높일 수 있다.
보수 연산(Compensated Arithmetic)
혼합 정밀도와 유사하게, 보수 연산(compensated arithmetic)은 표준 배정밀도에서 발생하는 오차를 보완하기 위해 추가 변수를 도입하는 방식이다. 예를 들어, 덧셈에서 사라지는 작은 항을 별도 변수에 모아두고, 최종 결과를 여러 단계에 걸쳐 수렴시키는 기법이 존재한다. 카한(Kahan) 알고리즘도 일종의 보수 덧셈(compensated summation) 전략이며, 이를 더욱 발전시켜 곱셈, 나눗셈, 내적연산 등에 적용한 형태들도 연구되어 왔다.
보수 연산을 실제로 적용하면 매 연산마다 추가 계산이 필요하고, 캐시 적중률이나 파이프라인 효율 측면에서 성능 저하가 있을 수 있다. 그렇지만 오차가 심각한 문제가 되는 곳에서는, 보수 연산을 통해 사소한 소수점 반올림 누락이 누적되는 것을 막아 결과 신뢰도를 높인다.
불안정한 연산 회피 기법
아주 작은 두 수의 차를 구하거나, 큰 수에 비해 매우 작은 수를 더하는 과정은 수치적으로 불안정하다. 여러 알고리즘에서 이런 상황을 회피하기 위해, 문제를 재배열하거나 함수를 다른 형태로 변환한다. 고전적 예로, $\sqrt{x^2 + 1} - x$를 직접 계산하면 $x$가 큰 경우 $1$이 상대적으로 너무 작아서 부정확한 결과가 나온다. 이러한 상황을 피하기 위해 다음과 같은 등가 변환을 고려한다.
이때 $x$가 충분히 크다면, $\sqrt{x^2 + 1} + x$는 크게 되지만 적어도 두 항이 비슷한 크기여서 반올림 오차가 상대적으로 덜 치명적이다. 이런 식으로, 연산 순서를 바꾸거나 동등한 변형을 활용해 계산의 안정성을 높이는 방법이 많이 쓰인다.
로그·지수 변환 활용
수치적 오차가 큰 곱셈·나눗셈이나 거듭제곱을 반복할 때, 로그·지수 변환을 통해 덧셈·뺄셈 형태로 바꿔 계산하는 기법도 널리 활용된다. 대규모 확률분포 계산에서 매우 작은 값(언더플로우 위험)을 다루거나, 모멘트(moment) 계산에서 거대한 값(오버플로우 위험)을 다룰 때 로그 변환은 상당한 안정성을 가져온다.
예를 들어, 다수의 확률변수 $X_1, X_2,\dots,X_n$이 독립이고 각각의 분포가 주어졌을 때, 결합확률
이 매우 작아지면, 부동소수점 연산에서 쉽게 0으로 언더플로우될 수 있다. 그러나 로그로 바꿔서
를 먼저 계산하고, 최종적으로 필요 시 지수 함수를 적용하면, 작은 확률값도 비교적 안정적으로 다룰 수 있다. 이는 머신러닝의 softmax 계산 등에서도 필수적 기법으로 자주 등장한다.
정규화(Normalization)와 스케일 조정
수치 계산 과정에서 지나치게 큰 값이나 너무 작은 값이 발생하면, 상대오차가 급증하거나 언더플로우·오버플로우가 일어날 가능성이 커진다. 이를 방지하기 위해 흔히 적용되는 방법 중 하나가 정규화(normalization)와 스케일 조정(scale adjustment)이다. 예컨대 벡터의 노름(norm)이 지나치게 크다면, 적절한 상수 $\alpha$로 나누어 크기를 줄인 뒤에 연산을 수행하고, 마지막에 $\alpha$를 다시 곱해 복원한다.
아주 단순한 예시로, $\mathbf{x}$의 요소가 모두 $10^{8}$ 정도인 상황에서 $\mathbf{x}$와 $\mathbf{y}$의 내적 $\mathbf{x}^\mathsf{T} \mathbf{y}$를 계산한다고 하자. 각 항끼리의 곱은 $10^{16}$ 수준이 되고, 이 연산이 여러 번 반복되면 배정밀도 환경에서도 오차가 심하게 누적될 수 있다. 대신
로 미리 스케일 조정한 뒤, $\mathbf{x}'^\mathsf{T}\mathbf{y}'$을 계산하고 결과에 $\alpha^2$을 곱해 복원할 수 있다. $\alpha$를 적절히 선택해 각 요소의 크기를 1 근방으로 만들어 놓으면, 부동소수점 표현에서 유효숫자가 상대적으로 효율적으로 쓰이며 손실이 줄어든다.
수치적으로 까다로운 계산, 예를 들어 큰 지수승을 다루는 문제에서도, 스케일 조정은 흔히 로그 변환이나 연산 순서 재배치와 결합되어 쓰인다. 실제 계산에서 최적의 $\alpha$를 찾는 것은 경험적 또는 반복적 방법에 의해 수행되지만, 한 번의 단순 스케일 조정으로도 오차 구조가 크게 변할 수 있다.
플랫폼 및 언어 차이에 대한 고려
IEEE 754 표준이 널리 보급되었다고 해도, 실제 구현 수준에서는 CPU나 GPU, 운영체제, 컴파일러, 혹은 특정 라이브러리에 따라 라운딩 모드가 약간씩 달라질 수 있다. 예컨대 x86 아키텍처에서는 내부적으로 80비트 확장 정밀도(FPU 레지스터)를 사용한 뒤 메모리에 쓸 때 64비트로 반올림되기도 하며, 일부 GPU에서는 단정밀도(32비트) 또는 반정밀도(16비트) 연산을 기본으로 사용하기 때문에 중간 오차 구조가 차이가 난다.
수치 해석 알고리즘을 여러 환경에서 재현성 있게 구현하려면, 다음처럼 플랫폼별 세부 차이를 관리해야 한다.
• 컴파일러 최적화 옵션이 SSE, AVX, FMA 등 벡터 연산을 어떻게 이용하는지 • 고정된 라운딩 모드(round-to-nearest-even, round-toward-zero 등) • 내부 확장 정밀도를 사용한 뒤 결과만 64비트에 저장하는 아키텍처(FPU)
만약 동일한 소스 코드라 해도, 환경에 따라 약간 다른 오차 양상을 보이는 것은 드문 일이 아니다. 이를 해결하려면 특정 환경에서만 통용되는 함수를 사용하기보다, 표준화된 BLAS/LAPACK 라이브러리 같은 ‘검증된 수치 라이브러리’에 의존하는 편이 낫다. BLAS/LAPACK 구현 자체가 하드웨어별 최적화된 버전을 갖추고 있을지라도, 알고리즘적 안정성 테스트를 충분히 거쳤기 때문에 전반적인 재현성을 유지하기에 용이하다.
병렬 연산에서의 오차 누적
다중 스레드(Multi-thread)나 GPU 등 병렬 연산이 활발해지면서, 덧셈과 곱셈의 순서가 동적으로 변한다. 전통적인 CPU 한 개로 순차 실행할 때는 $a_1 + a_2 + \cdots + a_n$이 고정된 순서로 계산될 수 있지만, 병렬 연산 환경에선 태스크 스케줄링이나 쓰레드 합류(join) 타이밍에 따라 (논리적으로 동등한) 다른 순서로 더해질 가능성이 높다. 그 결과, 부동소수점 반올림 패턴에 따라 최종 결과가 달라질 수 있다.
수학적으로는 결합법칙이 성립하므로 $(a+b)+c = a+(b+c)$가 동일해야 하지만, 부동소수점 계산에서는 이 결합법칙이 오차 관점에서 완전히 보장되지 않는다. 따라서 병렬 환경에서 결과 재현성을 요구한다면, 특정 순서를 강제하기 위한 병렬화 기법(예컨대 reduce 단계에서 트리 구조를 고정하거나, 강제 동기화를 삽입) 혹은 보수연산 기법을 활용해야 한다. 그렇지 않다면 매번 조금씩 다른 결과를 얻을 수 있으며, 일부 응용 분야에서는 이는 심각한 문제를 야기할 수 있다.
시뮬레이션과 검증(Verification)
큰 규모의 과학·공학 시뮬레이션(예: 유체역학, 구조해석, 기후모델 등)은 긴 연산을 통해 방대한 양의 수치 결과를 산출한다. 이때 전산 오차가 누적·전파되면 실제 물리계와 동떨어진 결과가 나올 위험이 있기 때문에, 다음과 같은 검증 단계가 필수적이다.
• 문제 규모를 줄인 소형 테스트(analytical solution이 존재하거나, 고정밀도 계산을 허용하는 범위)로 결과 비교 • 타 임의 정밀도 라이브러리(혹은 상이한 알고리즘)와 교차 검증 • 알고리즘 안정성에 대한 사전 이론검토(조건수, 추정오차 경계 등)
특히 병렬 시뮬레이션에서는 스레드 수에 따라 결과가 달라질 수 있으므로, 레퍼런스 환경(순차 모드 or 고정 스케줄 모드)에서 결과를 수집하고 비교하는 것이 일반적이다. 이렇게 교차 검증을 마친 뒤에야 실제 결과가 믿을 만하다는 확신을 어느 정도 얻을 수 있다.
컴파일·실행 시 주의사항
수치 정확도와 성능을 동시에 확보하기 위해서는, 다음과 같은 컴파일·실행 설정을 유념해야 한다.
• 최적화 옵션: 예컨대 -O2, -O3에서 루프 전개나 FMA(Fused Multiply-Add) 변환 등이 일어나면서 수치오차가 조금 달라질 수 있다. • FMA 사용 여부: FMA는 $(a \times b) + c$ 연산을 한 번의 라운딩으로 수행하므로, 대부분의 경우 정확도가 높아지지만, 상황에 따라 의도치 않은 다른 오차 양상도 유발될 수 있다. • 병렬 라이브러리: OpenMP, MPI 등에서 Reduce 오퍼레이션의 순서를 고정하지 않을 경우, 덧셈 순서가 바뀌어 최종 결과가 달라진다.
수치해석용 코드를 실제 응용으로 배포할 때는, 특정 하드웨어와 라이브러리에 종속되지 않도록 사전에 테스트하고, 혹시라도 미세 차이 이상의 편차가 발생하지는 않는지 면밀히 살펴야 한다.
디버깅과 로깅
오차 축소와 더불어, ‘수치 디버깅(numerical debugging)’ 기법을 적용하는 것도 중요하다. 예를 들어, 중요한 지점에서 중간 결과의 노름이나 최대·최솟값, 조건수 추정치 등을 로깅(logging)하여 추적하면, 오차가 기형적으로 커지기 시작하는 시점을 빨리 포착할 수 있다. 이렇게 관찰한 이상 징후를 바탕으로 스케일 재조정이나 알고리즘 구조 수정을 검토한다.
Python이나 MATLAB 등 인터프리터 환경에서는 임의 정밀도 라이브러리(예: decimal 모듈)나 심볼릭 툴을 사용하여 특정 단계의 결과를 정밀하게 비교해보기도 한다. C++ 같은 컴파일 언어에서도 GMP, MPFR 라이브러리를 통해 다중 정밀도 계산을 수행해, 특정 구간에서 오차 크기를 측정할 수 있다.
Last updated