Note for Telecommunication Network and Optimization - TNO by Abhishek Apoorv
- Telecommunication Network and Optimization - TNO
- Note
- 981 Views
- 5 Offline Downloads
- Uploaded 11 months ago
Text from page-1
Network Mathematics Graduate Programme Hamilton Institute, Maynooth, Ireland Lecture Notes Optimization I Angelia Nedi´ c1 4th August 2008 c by Angelia Nedi´c 2008 All rights are reserved. The author hereby gives a permission to print and distribute the copies of these lecture notes intact and for as long as the lecture note copies are not for any commercial purpose. 1 Industrial and Enterprise Systems Engineering Department, University of Illinois at UrbanaChampaign, Urbana IL 61801. E-mail: angelia@illinois.edu
Text from page-2
Contents 1 Review and Miscellanea 1.1 Linear Algebra . . . . . . . . . . . . . . . . . . . . . 1.1.1 Vectors and Set Operations . . . . . . . . . . 1.1.2 Linear Combination and Independence . . . . 1.1.3 Subspace and Dimension . . . . . . . . . . . . 1.1.4 Affine Sets . . . . . . . . . . . . . . . . . . . . 1.1.5 Orthogonal Vectors and Orthogonal Subspace 1.1.6 Vector Norm . . . . . . . . . . . . . . . . . . 1.1.7 Matrices . . . . . . . . . . . . . . . . . . . . . 1.1.8 Square Matrices . . . . . . . . . . . . . . . . . 1.1.9 Eigenvalues and Eigenvectors . . . . . . . . . 1.1.10 Matrix Norms . . . . . . . . . . . . . . . . . . 1.1.11 Symmetric Matrices . . . . . . . . . . . . . . 1.2 Real Analysis and Multivariate Calculus . . . . . . . 1.2.1 Vector Sequence . . . . . . . . . . . . . . . . . 1.2.2 Set Topology . . . . . . . . . . . . . . . . . . 1.2.3 Mapping and Function . . . . . . . . . . . . . 1.2.4 Continuity . . . . . . . . . . . . . . . . . . . . 1.2.5 Differentiability . . . . . . . . . . . . . . . . . 2 Fundamental Concepts in Convex Optimization 2.1 Convex Sets . . . . . . . . . . . . . . . . . . . . . . . 2.1.1 Definition . . . . . . . . . . . . . . . . . . . . 2.1.2 Special Convex Sets . . . . . . . . . . . . . . . 2.1.3 Set Operations Preserving Convexity . . . . . 2.2 Convex Functions . . . . . . . . . . . . . . . . . . . . 2.2.1 Differentiable Convex Functions . . . . . . . . 2.2.2 Operations Preserving Convexity of Functions 2.3 Convex Constrained Optimization Problems . . . . . 2.3.1 Constrained Problem . . . . . . . . . . . . . . 2.3.2 Existence of Solutions . . . . . . . . . . . . . 2.3.3 Optimality Conditions . . . . . . . . . . . . . 2.3.4 Projection Theorem . . . . . . . . . . . . . . . 2.4 Problem Reformulation . . . . . . . . . . . . . . . . . 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7 7 8 9 9 10 10 11 11 12 13 14 16 16 17 19 20 22 . . . . . . . . . . . . . 27 27 27 29 32 33 37 39 42 42 43 46 50 53
Text from page-3
4 CONTENTS 2.5 Lagrangian Duality . . . . . . . . . . . . . . . . . . . . . 2.5.1 Geometric Primal and Dual Problems . . . . . . . 2.5.2 Constrained Optimization Duality . . . . . . . . . 2.5.3 Linear Programming Duality . . . . . . . . . . . . 2.5.4 Slater Condition . . . . . . . . . . . . . . . . . . 2.5.5 Linear Constraint Condition . . . . . . . . . . . . 2.5.6 Quadratic Convex Problem . . . . . . . . . . . . 2.5.7 Karush-Kuhn-Tucker Conditions . . . . . . . . . 2.5.8 Representation and Constraint Relaxation Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Vector Space Methods for Static Optimization 3.1 Simplex Algorithm . . . . . . . . . . . . . . . . . . . . . . . . 3.1.1 Optimal Basic Feasible Solutions . . . . . . . . . . . . 3.1.2 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Gradient Projection Method . . . . . . . . . . . . . . . . . . . 3.2.1 Convergence for Constant and Diminishing Rule . . . . 3.2.2 Convergence for Polyak’s Stepsize and its Modification 3.2.3 Convergence Rate . . . . . . . . . . . . . . . . . . . . . 3.2.4 Non-Projected Gradient . . . . . . . . . . . . . . . . . 3.2.5 Gradient Scaling . . . . . . . . . . . . . . . . . . . . . 3.2.6 Feasible Descent Method . . . . . . . . . . . . . . . . . 3.3 Dual Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.1 Differentiable Dual Function . . . . . . . . . . . . . . . 4 Network Applications 4.1 Graphs . . . . . . . . . . . . . . . . . . . . . 4.2 Minimum Cost Network Flow Problem . . . 4.2.1 Simplex Algorithm for Uncapacitated 4.3 Shortest Path Problem . . . . . . . . . . . . 4.4 Maximum Flow Problem . . . . . . . . . . . 4.5 Routing in Communication Network . . . . 4.6 Joint Routing and Congestion Control . . . 4.7 Rate Allocation in Communication Network . . . . . . . . . . . . . . . . . . Min-Cost Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Dynamic Programming 5.1 Fundamental Concepts and Problem Formulation 5.1.1 DP Algorithm for Finite Horizon Problem 5.1.2 Infinite Horizon Problems . . . . . . . . . 5.2 Discounted Cost Problem . . . . . . . . . . . . . 5.2.1 Basic Results . . . . . . . . . . . . . . . . 5.2.2 Value Iteration . . . . . . . . . . . . . . . 5.2.3 Policy Iteration . . . . . . . . . . . . . . . 5.3 Stochastic Shortest Path Problem . . . . . . . . . 5.3.1 Basic Relations . . . . . . . . . . . . . . . 5.3.2 Value Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 56 59 66 72 74 76 76 81 . . . . . . . . . . . . 83 83 84 87 91 93 96 100 101 104 105 106 109 . . . . . . . . 113 113 116 119 121 122 126 128 131 . . . . . . . . . . 135 135 139 140 142 142 147 148 150 153 155
Text from page-4
CONTENTS 5.4 5.3.3 Policy Iteration Average Cost Problem 5.4.1 Basic Relations 5.4.2 Value Iteration 5.4.3 Policy Iteration 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 159 162 168 170
Leave your Comments