LQR算法是最优控制中的经典算法，LQR是应用广泛的控制算法，所以这里我将从最优控制出发介绍LQR控制算法。

注意，LQR控制算法的基础是需要有现代控制理论的基础，知道状态空间（State Space）。

1 最优控制问题实例分析

考虑一列质量为m 的火车W，沿水平轨道移动。忽略空气的阻力和地面对火车的摩擦力，火车被视为沿直线运动的质点。 x(t)表示列车在t时刻的位置，u(t)是施加在列车上的外部控制力，假设列车的初始位置和速度分别为x(0)=x0，x'( 0)=0需要选择一个合适的外部控制函数(t)使列车以最短的时间到达坐标原点并停止，即到达坐标原点时速度为零。

根据牛顿第二定律，列车的运动方程为

初始条件

终止条件

由于技术原因，外部推力不可能达到需要的那么大。它是有数量限制的，即

其中，M为正常数

问题是找到满足式(1.1.4)的控制函数u(t)，将W从初始状态(x0,0)'转移到最终状态(0,0)'，并使性能指标J (u) 达到最小值。凡是能满足上述要求的控制函数称为最优控制。电梯快速提升、轧机快速控制、机械振动快速阻尼等问题都可以用上述问题来解释。

2 最优控制的数学描述

从上面四个最优控制问题的例子可以看出，最优控制理论要解决的问题是根据被控对象（系统数学模型）的动态特性选择一个允许的控制律，使得被控对象按预定要求运行（从初始状态运行到终止状态），使给定的性能指标达到最优值。因此，最优控制问题的数学描述应包括四个方面：被控对象的数学模型、系统的边界条件（初态和终态）、衡量“控制效果”效果的性能指标、允许的控制。

2.1 数学模型

被控对象的数学模型，即动态系统的微分方程，反映了动态系统在运动过程中应遵循的物理或化学规律，其运动规律可用状态方程来表示。

设x=(x1,…,xn)^T R^n 代表控制系统的状态变量，u=(u1,…,um)^T R^m 代表控制系统的控制变量，则控制系统的状态该方程通常可以用一阶微分方程组描述为

方程(1.2.1)总结了方程(1.1.1)、方程(1.1.6)和方程(1.1.12)的几种情况。

当f不明确包含t时，方程（1.2.1）称为稳态系统（或时不变系统）。当f与x、u呈线性关系时，方程(1.2.1)称为线性系统。此时，方程可写为

其中，A(t)是n阶方阵，B(t)是n行m列矩阵。当A、B与时间t无关时，方程(1.2.2)称为线性稳定系统或线性自治系统。

在一些实际问题中，系统的状态变量和控制变量相对于时间是离散的。这样的控制系统称为离散控制系统。设x(k)=[x1(k),…,xn(k)]^T R^n 表示控制系统的状态变量，u(k)=[u1(k),…,um(k )] ^T R^m 表示控制系统的控制变量，那么离散控制系统的状态方程可以用差分方程描述为

式(1.2.3)总结了式(1.1.15)的情况。

2.2 边界条件

动态系统的初态和终态是状态方程的边界条件。动态系统的运动最终是状态空间中从一种状态到另一种状态的转移，其运动随时间的变化对应于状态空间中的轨迹。轨迹的初始状态可记为x(t0)，n为初始时间；轨迹的最终状态可以记为x(s)，tf是到达最终状态的时间。

在最优控制问题中，t=t0时的初始状态通常是已知的，即x(t0)=x，而到达终点的时间t和状态x(tn)根据问题的不同而变化。至于终止时间t，可以有两种情况：一种是固定的，如例1.3中=80年，例1.4中=3年；另一个是可变的或自由的，例如示例1.1 和示例1.2 。至于终止状态x(tn)，情况就复杂得多，可以归纳为以下三种情况：

** (1)终端状态固定**

终端状态是固定的。意味着终端状态x(tno)对应于状态空间中的一个不动点，即x(trsr已知。例如例1.1和例1.2中x(tf)=0，则x(tf)=实施例13中为0.5。

** (2)终端状态受限**

终端状态受约束是指终端状态x(tf)受到某些条件的限制。例如，使用以下等式来表达x(tf)必须满足的约束。

** (3)终端状态免费**

终端状态自由意味着终端状态x(sn)不再是一个点，而是一个移动点。

上述情况可以用一个目标集合S来概括。如果终止状态固定，则目标集合S只有一个元素；如果终止状态固定，则目标集合S只有一个元素。若终止状态满足一定条件，则目标集合S为状态空间的一个面；如果终止状态是自由的，即不受任何条件限制，则目标集合S扩展到整个状态空间。

2.3 性能指标

通过不同的控制效果可以实现状态空间中从初始状态到终止状态的转变。如何衡量受控系统的质量，需要使用标准对其进行定量评价。这种评价的衡量尺度或标准我们称之为绩效指标。

值得强调的是， 首先，我们无法为各种最优控制问题指定统一的性能指标格式。这种综合最优控制实际上是不存在的。其次，绩效指标的内容和形式取决于最优控制问题要解决的主要矛盾。第三，即使是同一个问题，其性能指标也可能因设计者关注的焦点不同而有所不同。例如，有些设计师注重缩短时间，有些设计师注重节省燃料，有些设计师注重缩短时间。并节省燃油。因此，为了正确指定绩效指标，理论知识固然不可缺少，但经验和技能的积累尤为重要。绩效指标一般用J表示，在很多技术资料中都有不同的名称，如绩效函数、价值函数、目标函数、效益函数等。

绩效指标的数学表达式主要有以下三种形式：

** (1) 最终价值绩效指数，也称为梅耶绩效指数**

例1.1 在列车快速到站问题中，J(u)=tf-t0，即终端价值性能指标。

** (2) 积分性能指数，也称为拉格朗日性能指数**

例1.3 在资金优化管理问题中，

综合性能指标

** (3) 综合绩效指数，也称为Bolza 绩效指数**

综合绩效指标实际上是最终价值绩效指标和整体绩效指标的组合。从式（1.2.7）可以看出，该指标影响控制过程的状态量x(t)和控制量u(t)。和最终状态x(tf)** 是必需的。

2.4 容许控制

对于实际控制问题，控制变量u(t)通常是某种物理量。根据控制量的变化范围，控制问题可分为两类：一类是控制量变化范围有限的控制，如控制船舶转向的舵角、控制电机的电流等。两者都是有限的；另一个是控制量变化的范围不受限制或者实际上是无限的。例如，导弹的推力控制方向角不受限制，因为它可以改变+/-360。

对于每个控制问题，满足条件的控制动作u(t)的值对应于m维空间R^m中的一个点，所有满足条件的控制动作u(t)的值条件构成一个m维空间。一组空格，用表示，称为容许控制集。属于允许控制集的所有控制都是允许控制。前面提到的两类控制中，前一类控制属于闭集控制，后一类控制属于开集控制。后面我们会看到，处理这两类控制问题的方法是有本质区别的。最优控制一定是容许控制，即

2.5 最优控制的一般提法

假设已知系统的状态方程为

初始条件和终止状态满足

控制函数为

其中，函数f是x(t)、u(t)和t的连续函数，并且对x(t)和t连续可导。如果区间[t0,tf]内存在分段连续控制函数u(t)，则可以使系统状态x(t)从初始状态x0转移到最终状态xfS，并使性能指标

达到极值，则控制函数u(t)称为最优控制函数，记为u*(t)，对应的x(t)称为最优轨迹，记为x*(t)，其中时的性能指标J称为最优性能指标。

可见，最优控制属于系统综合与设计的范畴。最优控制的任务是给定受控系统或受控过程（包括相关约束和边界条件）和性能指标，设计相应的控制系统。系统），使其性能指标在满足约束和边界条件的情况下达到极值（最大值或最小值）。

2.6 离散系统最优控制问题的数学描述

假设已知系统的差分方程为

初始条件和终止状态满足

控制函数为

表现

离散系统的最优控制问题是寻求一个容许控制u(k)，使系统状态x(k)从给定的初值0转移到最终状态x(k)S，并使性能指标J达到最大值。价值。如果上述最优控制问题有解u*(k)，则u*(k)称为最优控制函数，对应的轨迹x*(k)称为最优轨迹，此时的性能指标J称为最优性能指数

3 最优控制的发展

最优控制理论是现代控制理论的重要组成部分，它的发展与现代控制理论的发展密不可分。迄今为止，控制理论的发展已经经历了经典控制理论和现代控制理论两个重要的发展阶段，并进入了第三阶段，即大系统理论和智能控制理论。

二战后发展起来的自动控制理论对于设计和分析单输入、单输出的线性稳定系统是有效的。然而，随着生产的发展，特别是航天技术的发展，控制系统变得越来越复杂，其精度要求也越来越高。因此，基于传递函数和频率特性的自动控制理论，也就是我们通常所说的经典控制理论，日益显示出其局限性。这种局限性首先体现在对于时变系统来说，传递函数根本无法定义；即使对于线性稳定系统，当有多个输入和多个输出时，传递函数也变成函数矩阵，使得从传递函数概念导出的工程定义结论在这里也变得复杂且难以应用。其次，频率法本质上是一种工程方法。频率法获得的校正特性只能通过简单的网络来实现，并且网络参数的确定需要一个调试过程。当系统复杂且精度要求很高时，这种半经验方法不太适用。于是，人们回到时间域，建立了基于状态空间概念的现代控制理论。

现代控制理论可以处理广泛的问题。原则上，它可以用来处理时变系统、非线性系统、多输入多输出系统和分布参数系统。用它来处理随机系统问题和离散系统问题也很方便。

早在20世纪50年代初，就有人发表文章从工程角度研究最短时间控制问题。虽然最优性的证明是借助于几何图形的启发式的，但它为现代控制理论的发展提供了第一步。一批实景模型。随后，对最优控制问题的深入研究和对空间技术的迫切需求引起了大批数学家的密切关注。人们通过研究发现，从数学角度来看，最优控制问题是解决一类带约束的泛函极值问题，本质上是一个变分微积分问题。然而，经典变分理论只能解决一类允许控制属于开集的最优控制问题。然而，工程实践中遇到的大多数问题都是一类最优控制问题，其容许控制属于闭集。经典变分理论已无能为力，这就需要人们探索新的方法来解决最优控制问题。

在各种新方法中，有两种是最有成效的。一是前苏联学者庞特里亚金（L.C. Pontryagin）:的“极小值原理”，二是美国学者RE的“动态规划”。贝尔曼。

受到力学中汉密尔顿原理的启发，庞特里亚金等人首先提出了“极小原理”作为猜想，随后很快提供了严格的证明，并于1958年在爱丁堡举行的国际会议上首次提出。会议。 “极小值原理”发展了经典变分原理，成为处理闭集约束变分问题的有力工具。

“动态规则”是贝尔曼在1953年到1957年间逐步创造的，他根据最优性原理，发展了变分微积分中的哈密尔顿-雅可比理论，形成了“动态规划”，这是一种适合计算机计算来处理问题的方法。更广泛的问题。在现代控制理论的形成和发展中，极小值原理、动态规划和卡尔曼最优估计理论发挥了重要的推动作用。在现代控制理论迅速发展的同时，数字计算机也迅速发展并得到广泛应用。数字计算机运算速度的提高、存储容量的增加、体积的减小以及软件的广泛应用，使数字计算机不仅成为控制系统分析和设计的有力工具，而且逐渐成为控制系统的重要组成部分之一。自动控制系统的主要组成部分。计算机“在线”参与控制使得许多复杂的控制方法成为可能，这些方法既不需要控制器简化为简单的校正网络，也不需要封闭的解析解来应用于实际工程应用。因此，高速、大容量、软硬件结合的计算机的出现，一方面使现代控制理论工程的实现成为可能，另一方面又反过来提出了许多新的理论和问题，导致直接和间接的优化。最优控制。间接计算的大量研究成果的出现，进一步推动了现代控制理论的发展。

近20年来，现代控制理论和现代控制工程应用吸收了现代数学的许多成果，得到长足发展，渗透到生产、生活、国防、城市规划、智能交通、管理等诸多领域。发挥了越来越重要的作用。最优控制的发展成果主要有分布参数最优控制、随机最优控制、自适应控制、大规模系统最优控制、微分博弈等。最优控制理论已经形成了比较完整的理论体系，为现代控制提供了基础。控制。该项目做了比较充分的理论准备。特别需要指出的是，随着高性能嵌入式系统的应用和发展，最优控制理论研究将是一个非常活跃的研究领域，最优控制理论将越来越广泛地应用于实际工程中。