随机过程笔记：导论

随机过程着眼于随机变量之间的相互关联，本文作为随机过程课程的导论部分，简单概述了随机变量之间“关联”的意义，引入了随机过程的定义，同时引入了相关函数这一概念。相关函数是研究随机过程的一个有力工具，对我们深入认识随机过程有“管中窥豹”的作用。本文属于随机过程笔记，根据清华大学电子工程系张颢副研究员的随机过程线上课程笔记整理而成，这是课程链接。

随机变量

随机过程着眼于随机变量之间的相互关联。

\(X,Y\)是随机变量（后均称\(r.v.\)）

它们的联合概率密度函数是 \[ f_{X,Y}(x,y) = \cfrac{\partial^2}{\partial x\partial y} F_{X,Y}(x,y) \] 其中，\(F_{X,Y}(x,y)\)是联合分布函数： \[ F_{X,Y}(x,y) = P(X\leq x, Y\leq y) \]

举例：

1. \[ \begin{equation} f_{X,Y} (x,y) = \left\{ \begin{aligned} \cfrac{1}{4}, && \lvert x \rvert \leq 1, \lvert y \rvert \leq 1 \\ 0, && \mathrm{elsewhere} \end{aligned} \right. \end{equation} \]

   

   此时，随机变量\(X,Y\)独立(independent)：其中一个随机变量的变化不导致另一个随机变量统计性质的变化。

2. \[ \begin{equation} f_{X,Y} (x,y) = \left\{ \begin{aligned} \cfrac{1}{\pi}, && x^2 + y^2 \leq 1 \\ 0, && \mathrm{elsewhere} \end{aligned} \right. \end{equation} \]

   此时当随机变量\(X\)改变时，\(Y\)的统计性质（如方差)也发生相应的改变，随机变量\(X,Y\)不再独立。

3. \[ \begin{equation} f_{X,Y} (x,y) = \left\{ \begin{aligned} \cfrac{1}{\lvert \Omega \rvert}, && (x,y) \in \Omega \\ 0, && \mathrm{elsewhere} \end{aligned} \right. \end{equation} \]

此时可以看出，当随机变量\(X\)改变时\(Y\)的均值这一统计性质也发生相应的“线性变化”，随机变量\(X,Y\)存在着某种“线性关系”。这一“线性关系”可以用相关系数表示，这里的相关，指的是线性相关(linear correlation)。

上面例3中的线性相关，可以用均方误差(mean square error)来表示： \[ E\left(\left( Y-\alpha X \right)^2\right) \] 其反映了“纺锤”的“宽度”，\(\alpha\)代表的是“斜率”，用图例3中的虚线表示： \[ \min_\alpha E\left( Y-\alpha X \right)^2 \Rightarrow \alpha _{\mathrm{optimal}} = \cfrac{E(XY)}{E(X^2)} \]

有些地方的相关定义为\(E\left( (X-E(X))(Y-E(Y)) \right)\)，实际上，经过一通计算，这个定义等于\(E(XY) - E(X)E(Y)\)，这与\(E(XY)\)相差一个常数，不需要太在意。因此这两种定义在本课程中不加以区分。

上式中，我们一般更关注的是\(E(XY)\)这一项，其可以称为相关(correlation)。而两个随机变量不相关(uncorrelated)指的是\(E(XY)=EXEY(=0)\)。注意：不相关并不意味着独立，实际上，两变量独立的要求更为苛刻，它是不相关的充分条件，即独立\(\Rightarrow\)不相关。举例：

\(\theta\)服从在\(\left( 0,2\pi \right)\)上的均匀分布： \[ \theta \sim U(0,2\pi) \] 且有随机变量： \[ X=\cos{\theta}, \\Y=\sin{\theta} \] 显然二者并不独立，但是 \[ \begin{eqnarray} E(X) & = & \int_{-\infty}^{\infty} \cos{\theta} f_\theta(\theta)\mathrm{d}\theta = \int_{0}^{2\pi} \cos{\theta} \cfrac{1}{2\pi}\mathrm{d}\theta = 0 \\ E(Y) & = & \int_{-\infty}^{\infty} \sin{\theta} f_\theta(\theta)\mathrm{d}\theta = \int_{0}^{2\pi} \sin{\theta} \cfrac{1}{2\pi}\mathrm{d}\theta = 0 \\ \\ E(XY) & = & \int_{-\infty}^{\infty} \cos{\theta} \sin{\theta} f_\theta(\theta)\mathrm{d}\theta = 0 \end{eqnarray} \] 即 \[ E(XY)=E(X)E(Y)=0 \] 此时，随机变量\(X,Y\)不相关。

随机变量的几何观点

实际上，可以将随机变量\(X,Y\)的相关\(E(XY)\)理解为某种内积(inner product)。关于内积，需要回顾一下：

内积是一个二元操作\(\langle x,y \rangle : H \times H \rightarrow \mathbb{R}\)，其满足以下三个条件：

1. 对称性：\(\langle x,y \rangle = \langle y,x \rangle\)

2. 非负性：\(\langle x,x \rangle \geq 0\)，且\(\langle x,x \rangle = 0 \Leftrightarrow x=0\)

3. 双线性(bilinear)： \[ \langle x,\alpha y + \beta z \rangle = \alpha \langle x,y \rangle + \beta \langle x,z \rangle,\\ \langle \alpha x + \beta y, z \rangle = \alpha \langle x,z \rangle + \beta \langle y,z \rangle \]

而相关的定义是符合以上三个条件的。

几何上，内积对应的是角度： \[ \cos \angle(x,y) = \cfrac{\langle x,y \rangle}{\left( \langle x,x \rangle \langle y,y \rangle \right)^\frac{1}{2}} \] 而一个随机变量\(r.v.\)实际上可以理解为是线性空间中的一个向量，于是也可以算随机变量之间的“夹角”：

\[ \begin{eqnarray} \left| \left| Y \right| \right| \cos\theta \cdot \cfrac{X}{\left| \left| X \right| \right|} & = & \alpha X \\ \Rightarrow \alpha & = & \cfrac{\left| \left| Y \right| \right|}{\left| \left| X \right| \right|} \cos \theta \\ & = & \cfrac{\left| \left| Y \right| \right|}{\left| \left| X \right| \right|} \cfrac{E(XY)}{\left( E(X^2)E(Y^2)\right)^\frac{1}{2}} \\ & = & \cfrac{\left| \left| Y \right| \right|}{\left| \left| X \right| \right|} \cfrac{E(XY)}{\left| \left| X \right| \right| \left| \left| Y \right| \right|} \\ & = & \cfrac{E(XY)}{E(X^2)} \end{eqnarray} \]

其中，\(\theta = \angle(X,Y),\ \cos \theta = \cfrac{E(XY)}{\left( EX^2EY^2\right)^\frac{1}{2}}\)。既然相关能够理解为向量内积，其自然满足Cauchy-Schwarz不等式： \[ -1 \leq \cos \angle(X,Y) = \cfrac{E(XY)}{\left( EX^2EY^2\right)^\frac{1}{2}} \leq 1 \]

Cauchy-Schwarz不等式： \[ \left| \langle x,y \rangle \right| \leq \left( \langle x,x \rangle \langle y,y \rangle \right) ^{\frac{1}{2}} \] 证明：

构造\(g(\lambda) = \langle \lambda x + y, \lambda x + y \rangle\)

根据对称性和双线性，有 \[ g(\lambda) = \lambda ^2 \langle x,x \rangle + 2\lambda\langle x,y \rangle + \langle y,y \rangle \] 由于\(\langle x,x \rangle \geq 0\)，因此关于\(\lambda\)的二次函数\(g(\lambda)\)是开口向上的。又由于\(g(\lambda) = \langle \lambda x + y, \lambda x + y \rangle \geq 0\)，可知其判别式是非正的，即 \[ \Delta = \left( 2\langle x,y \rangle \right) ^2 - 4\langle x,x \rangle\langle y,y \rangle \leq 0 \] 即 \[ \langle x,y \rangle ^2 \leq \langle x,x \rangle\langle y,y \rangle \] 证毕。

相关函数

首先引入随机过程这一概念\(\mathbb{X}(t)\)，这里的\(t\)是一个标记，可以是时间，也可以是别的什么东西，为方便说明问题，以后若有需要都称为“时间”。对不同的\(t_i\)，\(\mathbb{X}(t_i)\)都是一个随机变量。简单来说，随机过程实际上就是一组随机变量。如无特别说明，本课程讨论的这个下标\(t\)是一维的；\(t\)二维时\(\mathbb{X}(t)\)称作随机场(random field)。

定义(自)相关函数(auto correlation function)： \[ R_{\mathbb{X}} (t,s) = E(\mathbb{X}(t)\mathbb{X}(s)) \] 其反映了随机过程在两个不同时间处的相关性。显然有这样的性质：

1. 相关函数是对称的 \[ R_{\mathbb{X}} (t,s) = R_{\mathbb{X}} (s,t) \]

2. Cauchy-Schwarz不等式 \[ \left| R_{\mathbb{X}} (t,s) \right| \leq \left( R_{\mathbb{X}} (t,t) R_{\mathbb{X}} (s,s) \right) ^ \frac{1}{2} \]