§6.3
DP 정리 (DP Theorems)
Stationary DP Theorems
3 equations
(6.2)
Bellman 방정식 (최적 trajectory 형)
Bellman Equation (Along Optimal Trajectory)
DRAFT
vc-passed
$$V\bigl(x^*(t)\bigr) = U\bigl(x^*(t), x^*(t+1)\bigr) + \beta\, V\bigl(x^*(t+1)\bigr) \quad \text{for all } t = 0, 1, \ldots$$
Intuition
(6.1) Bellman 방정식이 최적 경로 $\{x^*(t)\}$ 에서 등호로 성립하는 형태. supremum 이 max 로 달성됨을 가정 — 즉 최적 sequence 가 존재. (6.1) 이 임의 $x \in X$ 에 대한 functional equation 이라면, (6.2) 는 그 functional equation 의 해 $V$ 가 최적 trajectory 따라 어떻게 진화하는지 명시.
3세 비유
(6.1) 의 max 달성된 모습. 최적 경로 따라 V가 매 시점 어떻게 깎이는지 보여주는 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | (6.1) functional equation 과 (6.2) optimal trajectory 형식의 동치성 정초. |
Applications
- Theorem 6.2 (sequence ↔ functional equivalence) 증명
- Optimal policy 존재성 증명
Civilizational Relevance
(6.1) 의 동적 표현. 최적 경로 위에서 V 의 시간 진화를 보여줌.
(6.3)
Principle of Optimality — V* 형태
Principle of Optimality — V* Form
DRAFT
vc-passed
$$V^*\bigl(x^*(t)\bigr) = U\bigl(x^*(t), x^*(t+1)\bigr) + \beta\, V^*\bigl(x^*(t+1)\bigr)$$
Intuition
Theorem 6.2 (Principle of Optimality) 의 핵심 결과. (6.2) 와 같은 형태지만 V* (sequence problem 의 supremum) 로 표현 — V (functional equation 의 해) 와의 일치를 보이는 단계. **Sequence problem (6.2) 와 functional equation (6.1) 의 해가 같다** = Bellman의 'Principle of Optimality' 의 정량 표현.
3세 비유
'평생 행복의 sup 값 = 오늘의 보상 + 깎인 내일 이후의 sup 값' — 문제의 두 표현이 같다는 정리.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | Principle of Optimality 정초 — (6.3) 의 직접 표현. |
Applications
- Theorem 6.2 (Principle of Optimality)
- Sequence ↔ Recursive 동치성
Civilizational Relevance
Bellman 의 가장 유명한 명제 — '최적 의사결정의 일관성'.
(6.4)
Envelope 정리 — 가치함수 미분 = 한계 효용
Envelope Theorem — Value Function Derivative
DRAFT
vc-passed
$$DV(x) = D_x U\bigl(x, \pi(x)\bigr)$$
Intuition
Theorem 6.6 (Envelope Theorem). 가치함수 $V(x)$ 의 $x$ 에 대한 미분 = 효용 $U(x, y)$ 의 $x$ 미분에 최적 정책 $y = \pi(x)$ 대입한 값. 핵심 직관: $y$ 는 $x$ 에 의존하지만, 최적 $y^*$ 에서 $\partial U/\partial y = 0$ (FOC) 이므로 envelope 효과로 $y$ 의존성 사라짐. → ch06 §6.6 (Euler equation) 도출의 핵심 도구.
3세 비유
'최적 선택을 했으므로 환경이 변할 때 영향은 직접 효과만 본다' 는 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Paul Samuelson (1947) | Foundations of Economic Analysis | Envelope Theorem 의 경제학 표준 정초. |
| Richard Bellman (1957) | Dynamic Programming | DP 맥락에서 envelope 적용. |
| Lionel McKenzie (1986) | Optimal Economic Growth | Envelope Theorem 의 동적 최적화 표준 응용. |
Applications
- Euler equation 도출 (DP 형식)
- Modified golden rule
- Hamilton-Jacobi-Bellman 미분 형태
Civilizational Relevance
'최적화의 결과는 환경 변수에 대한 직접 미분으로 충분' — 분석 단순화의 핵심 원리.
§6.4
수축 사상 (Contraction Mapping)
Contraction Mapping Theorem
6 equations
(6.5)
수축 사상 부등식 — Cauchy 단계
Contraction Mapping — Cauchy Step
DRAFT
vc-passed
$$d(z_{n+1}, z_n) \leq \beta^n\, d(z_1, z_0), \quad n = 1, 2, \ldots$$
Intuition
Banach 수축 사상 정리(Theorem 6.7) 증명에서 핵심 단계. 수축률 β로 매 반복마다 거리가 β배씩 줄어듦 → Cauchy sequence 형성 → 유일 fixed point 존재. (6.1) Bellman 방정식 해의 유일 존재성 보장.
3세 비유
'한 번 적용할 때마다 거리가 β배씩 줄어드는' 부등식.
Genealogy
| 인물 | 저작 | note |
|---|
| Stefan Banach (1922) | Sur les opérations dans les ensembles abstraits | Banach 수축 사상 정리 정초 |
| David Blackwell (1965) | Discounted Dynamic Programming | Bellman operator 의 contraction 증명 |
Civilizational Relevance
Banach 수축 사상 정리(Theorem 6.7) 증명에서 핵심 단계. 수축률 β로 매 반복마다 거리가 β배씩 줄어듦 → Cauchy sequ
(6.6)
수축 사상 — m, n 격차 부등식
Contraction — m-n Gap Inequality
DRAFT
vc-passed
$$d(z_m, z_n) \leq \sum_{k=n}^{m-1} \beta^k\, d(z_1, z_0)$$
Intuition
(6.5) 의 누적 형태. 두 수열 점 사이 거리가 등비급수 합으로 bounded → β<1 이면 m,n→∞ 에서 0 으로 수렴, Cauchy.
3세 비유
'거리들의 합이 점점 작아지는 등비급수' 단계.
Genealogy
| 인물 | 저작 | note |
|---|
| Stefan Banach (1922) | Sur les opérations dans les ensembles abstraits | Banach 수축 사상 정리 정초 |
| David Blackwell (1965) | Discounted Dynamic Programming | Bellman operator 의 contraction 증명 |
Civilizational Relevance
(6.5) 의 누적 형태. 두 수열 점 사이 거리가 등비급수 합으로 bounded → β<1 이면 m,n→∞ 에서 0 으로 수렴, Cauchy.
(6.7)
Cauchy 한계 부등식
Cauchy Limit Inequality
DRAFT
vc-passed
$$d(z_m, z_n) \leq \frac{\beta^n}{1 - \beta}\, d(z_1, z_0)$$
Intuition
등비급수 합산해 깔끔한 상한 — n 만의 함수로 m 무관. β<1 이면 n→∞ 시 0 수렴 → Cauchy 정의 만족.
Genealogy
| 인물 | 저작 | note |
|---|
| Stefan Banach (1922) | Sur les opérations dans les ensembles abstraits | Banach 수축 사상 정리 정초 |
| David Blackwell (1965) | Discounted Dynamic Programming | Bellman operator 의 contraction 증명 |
Civilizational Relevance
등비급수 합산해 깔끔한 상한 — n 만의 함수로 m 무관. β<1 이면 n→∞ 시 0 수렴 → Cauchy 정의 만족.
(6.8)
Blackwell 충분조건 — 단조성·discounting 검증
Blackwell Sufficient Condition Verification
DRAFT
vc-passed
$$\int_0^z f(g(x))\, dx - \int_0^z f(x)\, dx \leq \cdots$$
Intuition
Theorem 6.7 (수축사상 정리) 적용을 위한 Blackwell 충분조건 검증 단계 — 연산자 T 가 monotone + discounting 만족 → contraction.
3세 비유
Bellman operator 가 수축사상 됨을 보이는 기술적 단계.
Genealogy
| 인물 | 저작 | note |
|---|
| Stefan Banach (1922) | Sur les opérations dans les ensembles abstraits | Banach 수축 사상 정리 정초 |
| David Blackwell (1965) | Discounted Dynamic Programming | Bellman operator 의 contraction 증명 |
Civilizational Relevance
Theorem 6.7 (수축사상 정리) 적용을 위한 Blackwell 충분조건 검증 단계 — 연산자 T 가 monotone + discounti
(6.9)
Blackwell 정리 적용 — 단조 연산자
Blackwell Theorem Application — Monotone Operator
DRAFT
vc-passed
$$\text{If } g(x) \leq f(x) + \|g - f\|, \text{ then } (Tg)(x) \leq (Tf)(x) + \beta \|g - f\|$$
Intuition
Blackwell 충분조건의 핵심 부등식. T 가 monotone + 'discounting by β' → contraction with modulus β. Bellman 식 해의 유일성 증명에 결정적.
3세 비유
'두 함수 차이가 작으면 변환된 두 함수도 β배 작은 차이' 조건.
Genealogy
| 인물 | 저작 | note |
|---|
| Stefan Banach (1922) | Sur les opérations dans les ensembles abstraits | Banach 수축 사상 정리 정초 |
| David Blackwell (1965) | Discounted Dynamic Programming | Bellman operator 의 contraction 증명 |
Civilizational Relevance
Blackwell 충분조건의 핵심 부등식. T 가 monotone + 'discounting by β' → contraction with mod
(6.10) ★
Bellman 연산자 단조성
Bellman Operator Monotonicity
DRAFT
vc-passed
$$(Tg)(x) \leq (Tf)(x) + \beta\, \|g - f\|$$
Intuition
(6.9) 의 직접 결과 — Bellman operator T 의 monotone discounting 성질. T 의 fixed point 가 (6.1) Bellman 방정식의 해.
3세 비유
'Bellman 변환 후에도 함수 차이가 β배로 줄어든다' 는 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Stefan Banach (1922) | Sur les opérations dans les ensembles abstraits | Banach 수축 사상 정리 정초 |
| David Blackwell (1965) | Discounted Dynamic Programming | Bellman operator 의 contraction 증명 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — (6.9) 의 직접 결과 — Bellman operator T 의 monotone discounting 성질. T 의 fixed point 가
§6.5
DP 증명 (Proofs)
Proofs of Main DP Theorems
11 equations
(6.11)
최적 가치 함수 — 가능 sequence 의 sup
Optimal Value as Sup over Feasible Sequences
DRAFT
vc-passed
$$V^*(x(0)) = \sup_{x \in \Phi(x(0))} \bar U(x)$$
Intuition
Theorem 6.5 증명용 — 사용자가 정한 V* 정의 재기술. $\Phi(x(0))$ 는 $x(0)$ 에서 시작하는 가능 sequence 들, $\bar U$ 는 평생 효용.
3세 비유
'가능한 모든 미래 경로 중 평생 행복이 가장 큰 것' 정의.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Theorem 6.5 증명용 — 사용자가 정한 V* 정의 재기술. $\Phi(x(0))$ 는 $x(0)$ 에서 시작하는 가능 sequence 들
(6.12)
V* 상한 정의
V* Upper Bound Definition
DRAFT
vc-passed
$$V^*(x(0)) \geq \bar U(x) \quad \text{for all } x \in \Phi(x(0))$$
Intuition
(6.11) 직접 함의 — sup 의 정의에서 모든 가능 경로 효용 ≤ V*.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.11) 직접 함의 — sup 의 정의에서 모든 가능 경로 효용 ≤ V*.
(6.13)
V* sup 근사 — ε 부등식
V* Sup Approximation Inequality
DRAFT
vc-passed
$$\exists\, x' \in \Phi(x(0)) \text{ such that } V^*(x(0)) \leq \bar U(x') + \varepsilon$$
Intuition
sup 근사 정의 — 임의 작은 ε 에 대해 그만큼 가까운 feasible sequence 존재.
3세 비유
'정확한 sup 가 없어도 거의 sup 인 경로는 항상 있다' 는 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
sup 근사 정의 — 임의 작은 ε 에 대해 그만큼 가까운 feasible sequence 존재.
(6.14)
Bellman 부등식 — 한 단계 후 V
Bellman Inequality — One-Step Lookahead
DRAFT
vc-passed
$$V\bigl(x(0)\bigr) \geq U\bigl(x(0), y\bigr) + \beta\, V(y'),$$
Intuition
Bellman 식의 약한 형태 (≥) — Theorem 6.4 증명 단계. y 선택해 한 기간 후 가치 (β로 깎인) 더한 값보다 V 가 ≥.
3세 비유
'다음 한 수만 봐도 최적보다 못하다' 는 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Bellman 식의 약한 형태 (≥) — Theorem 6.4 증명 단계. y 선택해 한 기간 후 가치 (β로 깎인) 더한 값보다 V 가 ≥.
(6.15)
Bellman 상한 — ε 근사
Bellman Upper Bound — ε Approximation
DRAFT
vc-passed
$$V(x(0)) \leq U(x(0), y') + \beta\, V(y') + \varepsilon$$
Intuition
(6.14) 의 dual ≤ 형태. ε 근사로 V 의 상한 도출.
3세 비유
거의 최적 선택으로 V 의 상한 잡기.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.14) 의 dual ≤ 형태. ε 근사로 V 의 상한 도출.
(6.16)
최적 sequence 의 supremum 도달
Optimal Sequence Attains Supremum
DRAFT
vc-passed
$$x^*_t \text{ attains sup starting from } x^*(t), \quad \bar U(x^*_t) = V^*(x^*(t))$$
Intuition
Theorem 6.2 (Principle of Optimality) 증명 종료 — 최적 sequence 의 tail 도 그 시점부터 sup 달성. 시간 일관성의 수학.
3세 비유
'최적 경로 중간부터 시작해도 그 시점부터 다시 최적' 이라는 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Theorem 6.2 (Principle of Optimality) 증명 종료 — 최적 sequence 의 tail 도 그 시점부터 sup 달성
(6.17)
V* tail 등치
V* Tail Equivalence
DRAFT
vc-passed
$$V^*(x^*(t)) = \bar U(x^*_t)$$
Intuition
(6.16) 의 결과 — V* 의 tail 표현. Principle of Optimality 의 직접 정량화.
3세 비유
(6.16) 과 같은 의미, 식 형식.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.16) 의 결과 — V* 의 tail 표현. Principle of Optimality 의 직접 정량화.
(6.18) ★
Bellman 연산자 정의
Bellman Operator Definition
DRAFT
vc-passed
$$(TV)(x) = \max_{y \in G(x)} \{U(x, y) + \beta\, V(y)\}$$
Intuition
★ ch06 의 핵심 도구. (6.1) Bellman 방정식의 우변을 연산자 T 로 정식화. T 의 fixed point ($V = TV$) 가 (6.1) 의 해. 수축사상 정리 (6.10) 적용 → 유일 V 존재.
3세 비유
'Bellman 식 우변을 V→TV 변환으로 보는 방식'. 반복하면 V 로 수렴.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP framework 정초 |
| William Hamilton (1834) | On a General Method in Dynamics | Hamilton-Jacobi 의 DP 사촌. P-mathphys-001 다리 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ ch06 의 핵심 도구. (6.1) Bellman 방정식의 우변을 연산자 T 로 정식화. T 의 fixed point ($V = TV$) 가
(6.19) ★
정책함수 — Bellman max 의 argmax
Policy Function — argmax of Bellman
DRAFT
vc-passed
$$\pi(x) = \arg\max_{y \in G(x)} \{U(x, y) + \beta\, V(y)\}$$
Intuition
★ Bellman 식을 푸는 결과 도출되는 **정책 함수**. 상태 $x$ → 다음 상태 $y$ 를 매핑. (6.18) T 연산자의 argmax 가 곧 $\pi$. 모든 동적 모델의 시뮬레이션 기반.
3세 비유
'각 상태에서 무엇을 선택해야 하는지' 알려주는 함수.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP framework 정초 |
| William Hamilton (1834) | On a General Method in Dynamics | Hamilton-Jacobi 의 DP 사촌. P-mathphys-001 다리 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ Bellman 식을 푸는 결과 도출되는 **정책 함수**. 상태 $x$ → 다음 상태 $y$ 를 매핑. (6.18) T 연산자의 argmax
(6.20)
Bellman 연산자 비교 부등식
Bellman Operator Comparison
DRAFT
vc-passed
$$TV(x') = U(x', y') + \beta V(y'), \quad TV(x'') = U(x'', y'') + \beta V(y'')$$
Intuition
Theorem 6.4 (V 단조성) 증명 단계. 두 점 $x', x''$ 에서 T 적용 결과 비교 → V 단조 증가 도출.
3세 비유
두 상태에서 Bellman 변환 비교.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Theorem 6.4 (V 단조성) 증명 단계. 두 점 $x', x''$ 에서 T 적용 결과 비교 → V 단조 증가 도출.
(6.21)
Theorem 6.6 증명 — V 미분 가능성
Theorem 6.6 Proof — V Differentiability
DRAFT
vc-passed
$$V^*(x) = V(x) = \bar U(x^*), \quad V(x + \tilde\varepsilon) \cdots$$
Intuition
Envelope Theorem (6.4) 의 형식 증명. V* = V 등치 + 미분 가능성 검증.
3세 비유
Envelope 정리의 기술적 증명 단계.
Genealogy
| 인물 | 저작 | note |
|---|
| Paul Samuelson (1947) | Foundations of Economic Analysis | Envelope Theorem 경제학 정초 |
Civilizational Relevance
Envelope Theorem (6.4) 의 형식 증명. V* = V 등치 + 미분 가능성 검증.
§6.6
DP 응용 (Applications)
Applications of Stationary DP
19 equations
(6.22)
응용 — V 상하한 sandwich
Application — V Upper/Lower Sandwich
DRAFT
vc-passed
$$V^-_k(x) \leq U_k(x, x') \leq V^+_k(x)$$
Intuition
§6.6 응용 — V_k 의 sandwich (lower V^- + upper V^+) 로 V 수렴 증명. 수치 풀이의 토대.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
§6.6 응용 — V_k 의 sandwich (lower V^- + upper V^+) 로 V 수렴 증명. 수치 풀이의 토대.
(6.23)
Sandwich 단조 수렴
Sandwich Monotone Convergence
DRAFT
vc-passed
$$V^-_k(x) \leq V^+_k(x), \quad V^-_k(x) \geq V^+_{k-1}(x)$$
Intuition
(6.22) 의 단조 수렴 성질 — V_k^-, V_k^+ 모두 V 로 수렴.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.22) 의 단조 수렴 성질 — V_k^-, V_k^+ 모두 V 로 수렴.
(6.24)
응용 setup — 미분 가능 효용
Application Setup — Differentiable Utility
DRAFT
vc-passed
$$\text{(setup equation for Section 6.6)}$$
Intuition
§6.6.1 응용 setup — 미분 가능 U 가정 도입.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
§6.6.1 응용 setup — 미분 가능 U 가정 도입.
(6.25) ★
FOC — Bellman 의 한계 조건 (DP form)
First-Order Condition — Bellman Marginal
DRAFT
vc-passed
$$D_y U(x, y^*) + \beta\, DV(y^*) = 0$$
Intuition
★ 동적계획의 FOC. Bellman 식 max 의 1차 최적 조건. y 선택의 한계 효용 + 미래 가치 한계가 0. **Euler 방정식의 직접 prerequisite**.
3세 비유
'한계 효용 = 미래 가치의 한계 손실' — 동적 균형의 최적 조건.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP framework 정초 |
| William Hamilton (1834) | On a General Method in Dynamics | Hamilton-Jacobi 의 DP 사촌. P-mathphys-001 다리 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ 동적계획의 FOC. Bellman 식 max 의 1차 최적 조건. y 선택의 한계 효용 + 미래 가치 한계가 0. **Euler 방정식의 직
(6.26) ★
Envelope Theorem 결과 — DV(x)
Envelope Theorem Result
DRAFT
vc-passed
$$DV(x) = D_x U(x, y^*)$$
Intuition
★ Envelope Theorem (Theorem 6.6) 결과 — V 의 x 미분 = U 의 x 미분 (최적 y* 대입). (6.4) 와 같은 식, 다른 표기.
Genealogy
| 인물 | 저작 | note |
|---|
| Paul Samuelson (1947) | Foundations of Economic Analysis | Envelope Theorem 경제학 정초 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ Envelope Theorem (Theorem 6.6) 결과 — V 의 x 미분 = U 의 x 미분 (최적 y* 대입). (6.4) 와 같은
(6.27) ★
FOC + Envelope 결합
FOC + Envelope Combined
DRAFT
vc-passed
$$D_y U(x, y^*) + \beta\, D_x U(y^*, \pi(y^*)) = 0$$
Intuition
(6.25) FOC + (6.26) Envelope 한 단계 미래에 적용. **Euler 방정식 도출의 핵심 조합**.
3세 비유
FOC + Envelope = Euler equation.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP framework 정초 |
| William Hamilton (1834) | On a General Method in Dynamics | Hamilton-Jacobi 의 DP 사촌. P-mathphys-001 다리 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — (6.25) FOC + (6.26) Envelope 한 단계 미래에 적용. **Euler 방정식 도출의 핵심 조합**.
(6.28)
FOC — 부분 미분 표기
FOC — Partial Derivative Notation
DRAFT
vc-passed
$$\frac{\partial U(x, y^*)}{\partial y} + \beta\, V'(y^*) = 0$$
Intuition
(6.25) 의 부분 미분 표기 — 단일 변수 일반화 가능.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.25) 의 부분 미분 표기 — 단일 변수 일반화 가능.
(6.29)
Envelope — 부분 미분 표기
Envelope — Partial Derivative Notation
DRAFT
vc-passed
$$V'(x) = \frac{\partial U(x, y^*)}{\partial x}$$
Intuition
(6.26) 의 부분 미분 표기.
Genealogy
| 인물 | 저작 | note |
|---|
| Paul Samuelson (1947) | Foundations of Economic Analysis | Envelope Theorem 경제학 정초 |
Civilizational Relevance
(6.26) 의 부분 미분 표기.
(6.30) ★
Euler 방정식 (DP 도출)
Euler Equation (DP-Derived)
DRAFT
vc-passed
$$\frac{\partial U(x(t), x^*(t+1))}{\partial y} + \beta\, \frac{\partial U(x^*(t+1), x^*(t+2))}{\partial x} = 0$$
Intuition
★ ch06 의 정점. (6.25) FOC + (6.26) Envelope 결합한 **Euler 방정식**. **물리의 Euler-Lagrange 와 형식 동일** — Acemoglu 가 명시적으로 'Euler equation' 명명. **P-mathphys-001 핵심 사례**: kleinert/1.8 (변분 EL) ↔ acemoglu/6.30 (DP Euler).
3세 비유
한계 효용 시간 차이 = 0. '오늘 한 단위 줄여서 내일 받는 것' 의 균형.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | 소비 Euler 의 first formulation |
| Robert Lucas (1976) | Econometric Policy Evaluation | 미시 토대 + Euler 의 거시 표준화 |
| Leonhard Euler (1744) | Methodus Inveniendi | 변분 Euler 방정식 — 경제학 Euler 의 직계 선조 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ ch06 의 정점. (6.25) FOC + (6.26) Envelope 결합한 **Euler 방정식**. **물리의 Euler-Lagrang
(6.31) ★
Transversality 조건 (DP form)
Transversality Condition (DP form)
DRAFT
vc-passed
$$\lim_{t \to \infty} \beta^t\, D_x U(x^*(t), x^*(t+1)) \cdot x^*(t) = 0$$
Intuition
★ 무한지평 최적성의 boundary condition. 무한 미래에서 자본의 그림자 가격 × 자본 = 0 → 무한 축적 회피. (6.30) Euler 와 결합해 동적 최적 경로 결정.
3세 비유
'무한 미래까지 효용을 자본에 묶어두지 말라' 는 조건.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP framework 정초 |
| William Hamilton (1834) | On a General Method in Dynamics | Hamilton-Jacobi 의 DP 사촌. P-mathphys-001 다리 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ 무한지평 최적성의 boundary condition. 무한 미래에서 자본의 그림자 가격 × 자본 = 0 → 무한 축적 회피. (6.30) E
(6.32)
Transversality — 부분 미분 표기
Transversality — Partial Notation
DRAFT
vc-passed
$$\lim_{t \to \infty} \beta^t\, \frac{\partial U(x^*(t), x^*(t+1))}{\partial x} \cdot x^*(t) = 0$$
Intuition
(6.31) 의 부분 미분 표기.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.31) 의 부분 미분 표기.
(6.33)
Transversality 부등식 — strict 위반
Transversality Inequality — Strict Violation
DRAFT
vc-passed
$$-\varepsilon\, \limsup_{T \to \infty} \beta^T D_x U(x^*(T), x^*(T+1)) \cdot x^*(T) \leq 0$$
Intuition
Theorem 6.10 증명 단계 — transversality 위반 시 효용 strict 향상 가능 (perturbation argument). 모순 도출.
3세 비유
transversality 가 깨지면 더 좋은 경로 있다 → 모순.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Theorem 6.10 증명 단계 — transversality 위반 시 효용 strict 향상 가능 (perturbation argument)
(6.34)
Perturbation 한계 — ε→0
Perturbation Limit
DRAFT
vc-passed
$$\lim_{\varepsilon \to 0} \limsup_{T \to \infty} \sum_{t=0}^{T} \beta^t\, o(\varepsilon, T, t) = 0$$
Intuition
Theorem 6.10 증명 단계 — high-order term o(ε) 의 합이 ε→0 에서 사라짐. perturbation 의 1차 근사 정당화.
3세 비유
기술적 단계 — 높은 차수 항 무시.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Theorem 6.10 증명 단계 — high-order term o(ε) 의 합이 ε→0 에서 사라짐. perturbation 의 1차 근사
(6.35)
Perturbation 한계 — T 상한
Perturbation Limit — T Bound
DRAFT
vc-passed
$$\text{For } T > \bar T: \quad \lim_{T \to \infty} \limsup_{t=0}^{T} \beta^t\, o(\varepsilon, T, t)$$
Intuition
(6.34) 의 T 상한 명시.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.34) 의 T 상한 명시.
(6.36)
Envelope 적용 — Example 6.4 풀이
Envelope Application — Example 6.4
DRAFT
vc-passed
$$\frac{1}{x^\alpha - y} = \beta\, V'(y)$$
Intuition
Example 6.4 — CES 효용 + Cobb-Douglas 생산 모형 풀이. (6.29) Envelope 적용 결과.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Example 6.4 — CES 효용 + Cobb-Douglas 생산 모형 풀이. (6.29) Envelope 적용 결과.
(6.37)
Example 6.4 해 — 자본 동학
Example 6.4 Solution — Capital Dynamics
DRAFT
vc-passed
$$k(t+1) = \beta\, \alpha\, k(t)^\alpha$$
Intuition
Example 6.4 의 명시적 해. β·α 의 곱이 저축률 역할 — closed form 가능한 드문 경우.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Example 6.4 의 명시적 해. β·α 의 곱이 저축률 역할 — closed form 가능한 드문 경우.
(6.38)
Consumption Euler — Bellman 도출
Consumption Euler — Bellman-Derived
DRAFT
vc-passed
$$u'((1+r)a + w - a') = u'(c) = \beta\, V'(a')$$
Intuition
Example 6.5 — 가구 자산 최적화의 FOC. 한계 효용 = 미래 가치 한계.
3세 비유
'오늘 효용 한 단위 = 내일 가치 한 단위' (할인 후).
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Example 6.5 — 가구 자산 최적화의 FOC. 한계 효용 = 미래 가치 한계.
(6.39) ★
Consumption Euler — 시간 비교
Consumption Euler — Intertemporal
DRAFT
vc-passed
$$u'(c) = \beta(1+r)\, u'(c')$$
Intuition
★ **소비 Euler 방정식**. (6.38) + Envelope 결합. **canonical_equations 의 consumption_euler 등록 사례**. 모든 거시 모형의 표준 FOC.
3세 비유
한계 효용 변화율 = β(1+r) — 이자율과 시간선호의 균형.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | 소비 Euler 의 first formulation |
| Robert Lucas (1976) | Econometric Policy Evaluation | 미시 토대 + Euler 의 거시 표준화 |
| Leonhard Euler (1744) | Methodus Inveniendi | 변분 Euler 방정식 — 경제학 Euler 의 직계 선조 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ **소비 Euler 방정식**. (6.38) + Envelope 결합. **canonical_equations 의 consumption_eu
(6.40)
Consumption growth — r vs 1/β-1
Consumption Growth — r vs 1/β−1
DRAFT
vc-passed
$$\dot c/c \begin{cases} = 0 & \text{if } r = \beta^{-1} - 1 \\ > 0 & \text{if } r > \beta^{-1} - 1 \\ < 0 & \text{if } r < \beta^{-1} - 1 \end{cases}$$
Intuition
(6.39) Euler 방정식 결과 — 소비 성장률 부호가 이자율과 시간선호 비교로 결정.
3세 비유
'이자율이 인내심보다 높으면 소비 증가' 식.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.39) Euler 방정식 결과 — 소비 성장률 부호가 이자율과 시간선호 비교로 결정.
§6.7
비정상 DP (Nonstationary)
Nonstationary Infinite-Horizon Optimization
4 equations
(6.41)
비정상 Euler 방정식
Nonstationary Euler Equation
DRAFT
vc-passed
$$\frac{\partial U(x^*(t), x^*(t+1))}{\partial y} + \beta\, \frac{\partial U(x^*(t+1), x^*(t+2))}{\partial x} = 0$$
Intuition
(6.30) 의 비정상 (시간 의존) 형태. §6.7 Nonstationary DP 의 Euler.
3세 비유
(6.30) 과 같은 식, 시간 의존 setup.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.30) 의 비정상 (시간 의존) 형태. §6.7 Nonstationary DP 의 Euler.
(6.42)
비정상 transversality 도출 단계
Nonstationary Transversality Step
DRAFT
vc-passed
$$\text{(perturbation step for nonstationary case)}$$
Intuition
§6.7 비정상 transversality 증명 단계.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
§6.7 비정상 transversality 증명 단계.
(6.43)
비정상 transversality 조건
Nonstationary Transversality Condition
DRAFT
vc-passed
$$\lim_{t \to \infty} \beta^t\, D_x U(t, x^*(t), x^*(t+1)) \cdot x^*(t) = 0$$
Intuition
(6.31) 의 비정상 (t-의존 U) 형태. Theorem 6.12.
3세 비유
비정상 동적 최적화의 boundary 조건.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(6.31) 의 비정상 (t-의존 U) 형태. Theorem 6.12.
(6.44)
비정상 응용 setup
Nonstationary Application Setup
DRAFT
vc-passed
$$\text{(setup for Section 6.7.3 application)}$$
Intuition
§6.7.3 응용 setup.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
§6.7.3 응용 setup.
§6.8
RCK 동적계획 (Optimal Growth)
Optimal Growth in Discrete Time
8 equations
(6.45)
RCK 재기술 — 무한지평 최적 성장
RCK Restatement — Infinite-Horizon Optimal Growth
DRAFT
vc-passed
$$\text{(restatement of (5.24)-(5.25) RCK problem)}$$
Intuition
§6.8 — ch05 (5.24, 5.25) RCK 문제의 재호출. ch06 의 DP 도구로 풀이 진입.
3세 비유
ch05 RCK 를 ch06 도구로 풀기 위해 재호출.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Civilizational Relevance
§6.8 — ch05 (5.24, 5.25) RCK 문제의 재호출. ch06 의 DP 도구로 풀이 진입.
(6.46) ★
RCK Bellman 표현 — sequence form
RCK Bellman — Sequence Form
DRAFT
vc-passed
$$\max_{\{k(t), c(t)\}_{t=0}^{\infty}} \sum_{t=0}^{\infty} \beta^t\, u(c(t))$$
Intuition
★ RCK 의 sequence 표현 = (5.24). ch06 §6.8 에서 Bellman 형식으로 변환 시작.
3세 비유
RCK sequence problem 재호출.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ RCK 의 sequence 표현 = (5.24). ch06 §6.8 에서 Bellman 형식으로 변환 시작.
(6.47)
RCK 자원 제약
RCK Resource Constraint
DRAFT
vc-passed
$$k(t+1) = f(k(t)) + (1-\delta)\, k(t) - c(t), \quad k(0) > 0 \text{ given}$$
Intuition
(5.25) 와 동일. RCK 의 자본 축적 제약.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Civilizational Relevance
(5.25) 와 동일. RCK 의 자본 축적 제약.
(6.48) ★
RCK Bellman 함수 방정식
RCK Bellman Functional Equation
DRAFT
vc-passed
$$V(k) = \max_{s \in G(k)} \{u(f(k) + (1-\delta)k - s) + \beta\, V(s)\}$$
Intuition
★ ★ ch06 의 anchor 핵심. RCK 문제의 (6.1) Bellman 형식 — 상태 $k$, 다음 상태 $s = k(t+1)$, 보상 $u(c)$ with $c = f(k) + (1-\delta)k - s$. 이 Bellman 식 풀이 = RCK 풀이. **모든 거시 동적 모형의 표준 출발점**.
3세 비유
RCK 를 Bellman 식으로 표현. '평생 효용 = 오늘 소비 + β × 내일부터 평생'.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ ★ ch06 의 anchor 핵심. RCK 문제의 (6.1) Bellman 형식 — 상태 $k$, 다음 상태 $s = k(t+1)$, 보상
(6.49)
Concavity proof step
Concavity Proof Step
DRAFT
vc-passed
$$u(f(k) + (1-\delta)k - s(k)) - u(f(k) + (1-\delta)k - s'(k')) \geq \cdots$$
Intuition
Theorem 6.13 (V 의 strict concavity) 증명 단계.
3세 비유
V 가 strict 오목임을 보이는 단계.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
Theorem 6.13 (V 의 strict concavity) 증명 단계.
(6.50) ★
RCK Euler 방정식 — 표준 형식
RCK Euler Equation — Standard Form
DRAFT
vc-passed
$$u'(c(t)) = \beta\, [f'(k(t+1)) + (1-\delta)]\, u'(c(t+1))$$
Intuition
★ ★ **거시경제학 표준 Euler 방정식**. (6.30) 의 RCK 적용. 한계 효용의 시간 변화율 = β × (자본 한계 산출 + 잔존). **모든 거시 동적 모형의 정점**. **canonical_equations 의 consumption_euler / ramsey_eq 등록 사례**.
3세 비유
한계 효용 시간 비율 = β × 자본 수익률.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | 소비 Euler 의 first formulation |
| Robert Lucas (1976) | Econometric Policy Evaluation | 미시 토대 + Euler 의 거시 표준화 |
| Leonhard Euler (1744) | Methodus Inveniendi | 변분 Euler 방정식 — 경제학 Euler 의 직계 선조 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ ★ **거시경제학 표준 Euler 방정식**. (6.30) 의 RCK 적용. 한계 효용의 시간 변화율 = β × (자본 한계 산출 + 잔존)
(6.51) ★
RCK Transversality
RCK Transversality
DRAFT
vc-passed
$$\lim_{t \to \infty} \beta^t \bigl[f'(k(t)) + (1-\delta)\bigr]\, u'(c(t))\, k(t) = 0$$
Intuition
★ RCK 의 transversality 조건. (6.31) 의 RCK 형태. Euler (6.50) 와 결합 = 동적 최적 경로 결정 시스템.
3세 비유
무한 미래에서 자본의 효용 가치 = 0.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ RCK 의 transversality 조건. (6.31) 의 RCK 형태. Euler (6.50) 와 결합 = 동적 최적 경로 결정 시스템.
(6.52) ★
Modified Golden Rule
Modified Golden Rule
DRAFT
vc-passed
$$\beta\, [f'(k^*) + (1-\delta)] = 1$$
Intuition
★ ★ **수정 황금률** — RCK 의 정상상태. Euler (6.50) 에서 $c(t)=c(t+1)$ 시 도출. $f'(k^*) = 1/\beta - (1-\delta) = \rho + \delta$. 시간선호율과 자본 한계 산출의 균형. **canonical_equations 의 ramsey_eq 등록 사례**.
3세 비유
정상상태 자본 = '인내심 + 감가상각' 의 한계 산출.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ ★ **수정 황금률** — RCK 의 정상상태. Euler (6.50) 에서 $c(t)=c(t+1)$ 시 도출. $f'(k^*) = 1/\b
§6.9
경쟁균형 성장 (CE Growth)
Competitive Equilibrium Growth
4 equations
(6.53)
Competitive Equilibrium 정의
Competitive Equilibrium Definition
DRAFT
vc-passed
$$\text{Definition 6.3 (CE for RCK)}$$
Intuition
RCK 의 분권화 균형 정의 — 가구·기업 의사결정 + 시장 청산.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
RCK 의 분권화 균형 정의 — 가구·기업 의사결정 + 시장 청산.
(6.54)
분권화 가구 문제 (CE)
Decentralized Household Problem (CE)
DRAFT
vc-passed
$$\max_{\{c(t), a(t)\}} \sum \beta^t u(c), \quad w(t) = f(k(t)) - k(t) f'(k(t))$$
Intuition
(5.26) RCK 가구 문제 + 임금이 한계 노동 산출 도출. 시장 균형에서 임금·이자율 = 한계 산출.
Genealogy
| 인물 | 저작 | note |
|---|
| Richard Bellman (1957) | Dynamic Programming | DP 정초 |
Civilizational Relevance
(5.26) RCK 가구 문제 + 임금이 한계 노동 산출 도출. 시장 균형에서 임금·이자율 = 한계 산출.
(6.55)
CE Euler — 분권화 형식
CE Euler — Decentralized Form
DRAFT
vc-passed
$$a(t) = k(t), \quad u'(c(t)) = \beta(1+r(t+1))\, u'(c(t+1))$$
Intuition
분권화 균형의 Euler. social planner Euler (6.50) 와 등치 — Second Welfare Theorem 직접 응용.
3세 비유
분권화 균형 Euler = social planner Euler.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | 소비 Euler 의 first formulation |
| Robert Lucas (1976) | Econometric Policy Evaluation | 미시 토대 + Euler 의 거시 표준화 |
| Leonhard Euler (1744) | Methodus Inveniendi | 변분 Euler 방정식 — 경제학 Euler 의 직계 선조 |
Civilizational Relevance
분권화 균형의 Euler. social planner Euler (6.50) 와 등치 — Second Welfare Theorem 직접 응용.
(6.56) ★
CE = SP 결합 결과
CE = SP Modified Golden Rule
DRAFT
vc-passed
$$\beta\, [f'(k(t+1)) + (1-\delta)] = 1$$
Intuition
★ §6.9 마무리 — 분권화 균형 (CE) 의 정상상태가 social planner (6.52) 와 일치. **First+Second Welfare Theorem 의 RCK 응용 결말**.
3세 비유
분권화·계획자 모두 같은 정상상태에 도달.
Genealogy
| 인물 | 저작 | note |
|---|
| Frank Ramsey (1928) | A Mathematical Theory of Saving | RCK 의 first formulation |
| David Cass (1965) | Optimum Growth in an Aggregative Model | Ramsey + Solow 통합 |
| Tjalling Koopmans (1965) | On the Concept of Optimal Economic Growth | RCK 명명의 마지막 인물 |
Applications
- 거시 동적 최적화 표준
- 강화학습 (Bellman)
- 재고·자원 정책 분석
Civilizational Relevance
★ canonical bridge — ★ §6.9 마무리 — 분권화 균형 (CE) 의 정상상태가 social planner (6.52) 와 일치. **First+Second Welf