제어: 최적 제어 (Optimal Control)

최적 제어 이론은 주어진 시스템의 성능 지표를 최적화하기 위해 시스템의 동작을 제어하는 방법을 연구하는 분야이다. 이 이론은 동적 시스템의 시간 경과에 따른 상태 변화와 그에 따른 제어 입력의 변화를 최적화하는 데 중점을 둔다. 최적 제어는 특히 다양한 제어 문제에서 비용을 최소화하거나 이익을 최대화하는 목표를 달성하기 위해 개발되었다. 이 논의에서는 최적 제어 이론의 기본 개념, 수학적 공식화, 다양한 해법 및 이론적 기초에 대해 다루겠다.

최적 제어 문제의 기본 개념

최적 제어 문제는 동적 시스템의 상태 변수를 제어 입력을 통해 원하는 목표를 달성하도록 하는 방법을 찾는 문제로 정의된다. 이러한 문제의 기본 구성 요소는 다음과 같다.

• 동적 시스템 (Dynamic System): 시스템의 상태(state)는 시간에 따라 변화하며, 이는 미분방정식으로 표현된다. 이 방정식은 일반적으로 비선형이며, 다음과 같은 형태로 주어진다.

$$\dot{x}(t) = f(x(t), u(t), t)$$

여기서 $ x(t) $는 상태 벡터, $ u(t) $는 제어 입력, $ f $는 시스템의 동작을 설명하는 함수이다.

• 목적 함수 (Objective Function): 최적 제어 문제에서 최적화하고자 하는 성능 지표이다. 이 함수는 일반적으로 다음과 같은 형태로 표현된다.

$$J(u) = \int_{t_0}^{t_f} L(x(t), u(t), t) \, dt + \Phi(x(t_f))$$

여기서 $ L $은 순간 비용 함수, $ \Phi $는 종료 비용 함수, $ t_0 $와 $ t_f $는 각각 초기와 종료 시간을 나타낸다.

• 제약 조건 (Constraints): 상태 및 제어 입력에 적용되는 물리적 또는 기타 제약 조건이다. 이러한 제약은 다음과 같이 표현될 수 있다.

$$g(x(t), u(t), t) \leq 0$$

또는 경계 조건으로 주어질 수 있다.

해밀턴-자코비-벨만 (HJB) 방정식

최적 제어 이론의 핵심 이론적 도구 중 하나는 해밀턴-자코비-벨만(Hamilton-Jacobi-Bellman, HJB) 방정식이다. 이는 동적 프로그래밍의 기본 방정식으로, 최적 제어 문제를 해결하는 데 중요한 역할을 한다.

HJB 방정식은 최적 값 함수 $ V(x, t) $를 만족하는 다음과 같은 편미분 방정식이다.

$$-\frac{\partial V(x, t)}{\partial t} = \min_{u(t)} \left[ L(x(t), u(t), t) + \frac{\partial V(x, t)}{\partial x} f(x(t), u(t), t) \right]$$

이 방정식은 동적 시스템이 최적 경로를 따르기 위해 제어 입력을 어떻게 선택해야 하는지를 결정한다. 그러나 HJB 방정식은 일반적으로 비선형 편미분 방정식이므로, 이를 정확히 푸는 것은 매우 어려운 문제이다. 실제로 많은 경우 근사 방법이 사용된다.

해밀토니안 접근 (Pontryagin's Minimum Principle)

Pontryagin의 최소화 원리(Pontryagin's Minimum Principle)는 최적 제어 문제를 해결하기 위한 또 다른 주요 방법론이다. 이는 해밀토니안 함수(Hamiltonian function)를 사용하여 최적 제어 문제를 풀이하는 접근법을 제공한다. 해밀토니안은 다음과 같이 정의된다.

$$H(x, u, \lambda, t) = L(x, u, t) + \lambda^T f(x, u, t)$$

여기서 $ \lambda(t) $는 공변량(multiplier) 또는 adjoint 변수로, 상태 변수 $ x(t) $에 대한 라그랑지 승수(Lagrange multiplier)로 해석될 수 있다.

Pontryagin의 최소화 원리는 다음과 같은 최적 제어 법칙을 제공한다:

• Adjoint 방정식: $ \lambda(t) $는 다음과 같은 adjoint 방정식을 만족해야 한다.

$$\dot{\lambda}(t) = -\frac{\partial H}{\partial x}(x^*(t), u^*(t), \lambda(t), t)$$

• 최적성 조건: 최적 제어 입력 $ u^*(t) $는 다음 조건을 만족해야 한다.

$$H(x^*(t), u^*(t), \lambda(t), t) = \min_u H(x^*(t), u, \lambda(t), t)$$

Pontryagin의 최소화 원리는 특히 경계 조건과 상태 제약 조건이 있는 최적 제어 문제를 해결하는 데 유용하며, 수많은 실제 제어 문제에서 사용된다.

리카티 방정식과 선형-이차 제어 (LQG)

선형-이차 제어(Linear-Quadratic Control, LQG)는 최적 제어 문제의 한 특별한 형태로, 시스템의 동적 방정식이 선형이고, 목적 함수가 이차 함수인 경우를 다룬다. 이 문제는 다음과 같은 형태로 정의된다.

$$\dot{x}(t) = A(t)x(t) + B(t)u(t)$$

$$J(u) = \frac{1}{2} \left[ x(t_f)^T Q_f x(t_f) + \int_{t_0}^{t_f} \left( x(t)^T Q(t) x(t) + u(t)^T R(t) u(t) \right) dt \right]$$

이 경우, 최적 제어 입력 $ u^*(t) $는 리카티(Riccati) 방정식의 해를 통해 얻을 수 있다. 리카티 방정식은 다음과 같은 비선형 미분방정식이다.

$$-\dot{P}(t) = A^T(t)P(t) + P(t)A(t) - P(t)B(t)R^{-1}(t)B^T(t)P(t) + Q(t)$$

여기서 $ P(t) $는 상태 피드백 이득을 계산하기 위한 변수이다. 리카티 방정식의 해 $ P(t) $를 사용하여 최적 제어 입력은 다음과 같이 주어진다.

$$u^*(t) = -R^{-1}(t)B^T(t)P(t)x(t)$$

선형-이차 제어는 계산이 비교적 간단하고, 많은 시스템에서 매우 유용하게 적용될 수 있기 때문에 널리 연구되고 있다.

수치적 접근 방법

최적 제어 문제를 해결하기 위해서는 일반적으로 수치적 방법이 필요하다. 다음은 주요 수치적 접근 방법들이다.

• 간접 방법: 해밀턴-자코비-벨만 방정식이나 Pontryagin의 최소화 원리를 사용하여 얻어진 방정식을 직접 풀어 최적 해를 찾는 방법이다. 그러나 이 방법은 복잡한 방정식을 푸는 데 어려움이 따르며, 계산 비용이 클 수 있다.

• 직접 방법: 상태 변수와 제어 변수를 이산화하고, 최적화 문제를 직접 풀어 최적 제어 입력을 찾는 방법이다. 이 방법은 수치적 최적화 알고리즘을 사용하며, 많은 실제 문제에서 효율적으로 적용될 수 있다.

• 동적 프로그래밍: 시스템의 상태 공간을 이산화하고, 각 상태에서의 최적 해를 단계적으로 계산해 나가는 방법이다. 이 방법은 특히 비선형 시스템에서 유용하지만, 상태 공간의 크기에 따라 계산 비용이 기하급수적으로 증가할 수 있다.

---

관련 자료:

1. Bertsekas, D. P. (2005). Dynamic Programming and Optimal Control. Athena Scientific.

2. Kirk, D. E. (2004). Optimal Control Theory: An Introduction. Dover Publications.

3. Lewis, F. L., Vrabie, D., & Syrmos, V. L. (2012). Optimal Control. Wiley.

4. Liberzon, D. (2011). Calculus of Variations and Optimal Control Theory: A Concise Introduction. Princeton University Press.

5. Bryson, A. E., & Ho, Y. C. (1975). Applied Optimal Control: Optimization, Estimation, and Control. CRC Press.