0%

随机过程笔记:高斯过程(3)

高斯过程是非常重要的一类随机过程,其应用在各领域都非常广泛。本文进一步研究了高斯过程在经历一些常见的非线性系统后的新特性。本文属于随机过程笔记,根据清华大学电子工程系张颢副研究员的随机过程线上课程笔记整理而成,这是课程链接

我们知道,高斯过程在经过线性变换后仍然是高斯的。本文将进一步研究,当非线性系统作用域高斯过程后,其将会有怎样的新性质。此前,我们快速回顾,常见的非线性系统包括:

  1. 多项式
  2. 分段线性
  3. 指数函数
  4. 三角函数
  5. 对数函数

其中对数函数的作用域是正数,而高斯过程是包含负数的,因此,我们仅讨论前四种非线性系统。对于这四种非线性系统,我们逐一分析。

在讨论高斯过程被作用于多项式系统前,我们先讨论高阶矩的相关问题,这在之后将会用到。

高斯分布的高阶矩计算

现有一个一维零均值的高斯分布 \[ X\sim N(0,\sigma), \] 其均值(一阶矩)\(E(X)=0\),二阶矩\(E(X^2)=\text{Var}(X)+(E(X))^2=\sigma ^2\).

现计算\(X\)\(n\)阶矩: \[ E(X^n)=\cfrac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^\infty x^n \exp (-\cfrac{x^2}{2\sigma ^2})\text{d}x , \] 显然,要计算这个积分,分部积分法大概率是一个好法子(指数部分可以在求导过程中保持不变,\(x^n\)可以最终求导为\(x\)\(x^2\),得到的形式即我们熟悉的一阶矩和二阶矩)。令 \[ I_n =\int_{-\infty}^\infty x^n \exp (-\cfrac{x^2}{2\sigma ^2})\text{d}x, \]\[ \begin{equation*} \begin{aligned} I_n & =-\sigma ^2 \int_{-\infty}^\infty x^{n-1} \text{d} \exp (-\cfrac{x^2}{2\sigma ^2})\\ & = \left.-\sigma ^2 x^{n-1} \exp (-\cfrac{x^2}{2\sigma ^2}) \right|_{-\infty}^\infty + \sigma ^2 \int_{-\infty}^\infty \exp (-\cfrac{x^2}{2\sigma ^2}) \text{d} x^{n-1} \\ & = 0 + (n-1) \sigma ^2 \int_{-\infty}^\infty x^{n-2} \exp (-\cfrac{x^2}{2\sigma ^2}) \text{d} x, \end{aligned} \end{equation*} \]\[ I_n = (n-1) \sigma ^2 I_{n-2}. \] 进一步地,将\(n\)分奇偶情况讨论。当\(n=2k\)为偶数时, \[ I_n = (n-1) \sigma ^2 \cdot I_{n-2} = (n-1) \sigma ^2 \cdot (n-3) \sigma ^2 \cdot I_{n-4} = \cdots = (n-1)(n-3) \cdots 3 \cdot \sigma^{2k} \cdot I_2, \] 其中\(I_2=E(X^2)=\sigma^2\);而当\(n=2k+1\)为奇数时,递推后最终得到的结果必然有一个因子\(I_1\),即\(E(X)=0\),故此时\(I_n\)必然为零。

递推可以得到 \[ \begin{equation*} I_n = \left\{ \begin{aligned} (n-1) !! \sigma^n &, n=2k\\ 0 &, n=2k+1 \end{aligned} \right. \end{equation*}, \] 其中\(k=1,2,3, \cdots\)为正整数。

利用特征函数计算(表示)高阶矩

我们知道,任意一个\(n\)元随机矢量\(\mathbb{X}=(X_1, X_2, \cdots , X_n)^\top\),其特征函数表示为 $$ \[\begin{equation*} \begin{aligned} \Phi _\mathbb{X}(\omega) & = E(\exp{\left( \text{i}\omega^\top\mathbb{X} \right)}) \\ & = E(\exp{\left( \text{i}(\omega_1 X_1 + \omega_2 X_2 + \cdots \omega_n X_n) \right)}), \end{aligned} \end{equation*}\] \[ 现在要求高阶矩$E(X_1^{\alpha_1} X_2^{\alpha_2} \cdots X_n^{\alpha_n})$,我们可以考虑将上述的$\Phi _\mathbb{X}(\omega)$分别对$\omega_j$求$\alpha_j$次导,即 \] E(), \[ 这里通过语言描述,当对$\omega_j$求$\alpha_j$次导数(此时指数部分中相应的系数是$\text{i}X_j$)后,期望表达式中,指数部分是不会变动的,而前面的系数将会多出$\alpha_j$个虚数单位$\text{i}^{\alpha_j}$和$X_j^{\alpha_j}$。类似地,当对每一个$X_k$都求$\alpha_k$次导后,期望表达式中,指数部分原封不动,而前面的系数则会是$\text{i}^{\alpha_1 + \alpha_2 + \cdots + \alpha_n}\cdot X_1^{\alpha_1} X_2^{\alpha_2} \cdots X_n^{\alpha_n}$,即 \] \[\begin{equation*} \begin{aligned} \cfrac{\partial ^{(\alpha_1 + \alpha_2 + \cdots + \alpha_n)}}{\partial \omega_1^{\alpha_1}\omega_2^{\alpha_2}\cdots\omega_n^{\alpha_n}} E(\exp{\left( \text{i}(\omega_1 X_1 + \omega_2 X_2 + \cdots \omega_n X_n) \right)}) & = E(\text{i}^{\alpha_1 + \alpha_2 + \cdots + \alpha_n}\cdot X_1^{\alpha_1} X_2^{\alpha_2} \cdots X_n^{\alpha_n} \cdot \exp{\left( \text{i}(\omega_1 X_1 + \omega_2 X_2 + \cdots \omega_n X_n) \right)}) \\ & = \text{i}^{\alpha_1 + \alpha_2 + \cdots + \alpha_n} E(X_1^{\alpha_1} X_2^{\alpha_2} \cdots X_n^{\alpha_n}) E(\exp{\left( \text{i}(\omega_1 X_1 + \omega_2 X_2 + \cdots \omega_n X_n) \right)}) \end{aligned} \end{equation*}\], \[ 再令上式中$\omega_1 = \omega_2 = \cdots \omega_n = 0$,得 \] . E() |_{_1 = _2 = _n = 0} = ^{_1 + _2 + + _n} E(X_1^{_1} X_2^{_2} X_n^{_n}), \[ 即我们要求的高阶矩(至少从形式上)可以被表示为 \] E(X_1^{_1} X_2^{2} X_n^{n}) = . () |{= 0}, $$ 其中,\(\Phi_\mathbb{X}(\omega)\)\(n\)元随机矢量\(\mathbb{X}=(X_1, X_2, \cdots , X_n)^\top\)的特征函数。

平方器与高斯过程

我们从最简单的多项式入手。设有一个高斯过程满足零均值:\(E(\mathbb{X}(t))=0\),且宽平稳:\(E(\mathbb{X}(t)\mathbb{X}(s))=E_\mathbb{X}(t-s)=E_\mathbb{X}(\tau)\),现将一个平方算子作用在该高斯过程上: \[ \mathbb{X}(t)\stackrel{h(x)=x^2}{\longrightarrow}\mathbb{Y}(t). \] 显然,\(\mathbb{Y}\)不是高斯的,它起码连个负值都没有。那么,新得到的随机过程\(\mathbb{Y}(t)\)有哪些性质呢?接下来我们逐一讨论它的分布情况,以及随机过程\(\mathbb{Y}(t)\)的相关函数。

均值与概率密度函数

根据定义,\(\mathbb{Y}(t)\)的均值计算非常简单,直接带进去就完了: \[ E(\mathbb{Y}(t))=E(\mathbb{X}^2(t))=R_\mathbb{X}(0), \] 这里我们用到了假设中\(\mathbb{X}(t)\)的宽平稳性质。

接下来,我们再来讨论\(\mathbb{Y}(t)\)具体的分布情况。首先根据定义写出分布函数: $$ \[\begin{equation*} \begin{aligned} F_{\mathbb{Y}(t)}(y) = & P(\mathbb{Y}(t)\leq y) \\ = & P(\mathbb{X}^2(t)\leq y) \\ = & \left\{ \begin{aligned} P(\left|\mathbb{X}(t)\right|\leq \sqrt{y}), & y\geq0 \\ 0, & y\lt 0 \end{aligned} \right. \end{aligned} \end{equation*}\] \[ 这里仅考虑$y\geq 0$的情况: \] P(|(t)|) = 2 0^ f{(t)}(s)s \[ 其中,$f_{\mathbb{X}(t)}$是$\mathbb{X}(t)$的概率密度函数。进一步地,对上式求导即可得到$f_{\mathbb{Y}(t)}$的概率密度函数: \] \[\begin{equation*} \begin{aligned} f_{\mathbb{Y}(t)}(y) & = \cfrac{\text{d}}{\text{d}y}F_{\mathbb{Y}(t)}(y) \\ & = 2 f_{\mathbb{X}(t)}(\sqrt{y}) \cdot \cfrac{1}{2\sqrt{y}} \\ & = \cfrac{1}{\sqrt{y}} f_{\mathbb{X}(t)}(\sqrt{y}) \end{aligned} \end{equation*}\] \[ 高斯分布的概率密度函数是已知的,并且这里假设$\mathbb{X}(t)$是宽平稳的,因此 \] f_{(t)}(y) = . \[ 综上我们可以得到$\mathbb{Y}(t)$的概率密度函数: \] \[\begin{equation*} \begin{aligned} f_{\mathbb{Y}(t)}(y) & = \left\{ \begin{aligned} \cfrac{1}{\sqrt{2\pi R_\mathbb{X}(0)y}}\exp{\left(-\cfrac{y}{2\pi R_\mathbb{X}(0)}\right)}, & y\geq0 \\ 0, & y\lt 0 \end{aligned} \right. \end{aligned} \end{equation*}\]. $$ ## 相关函数

上述讨论的实际上是\(\mathbb{Y}(t)\)在某一点的分布情况。作为随机过程,我们还应该关注其相关函数的表现如何。根据定义,\(\mathbb{Y}(t)\)的相关函数表示为 $$ \[\begin{equation*} \begin{aligned} R_\mathbb{Y}(t,s) & = E(\mathbb{Y}(t)\mathbb{Y}(s)) \\ & = E(\mathbb{X}^2(t)\mathbb{X}^2(s)). \end{aligned} \end{equation*}\] \[ 这是一个高阶矩问题。根据之前的结论,一般形式的高阶矩可以被表示为 \] E(X_1^{1} X_2^{2} X_n^{n}) = . () |{= 0}, \[ 其中,$\Phi_\mathbb{X}(\omega)$是$n$元随机矢量$\mathbb{X}=(X_1, X_2, \cdots , X_n)^\top$的特征函数。而零均值、协方差为$\Sigma$的高斯过程的特征函数我们知道,是 \] () = ( - ^), \[ 联合上面的结论,经过繁琐但不困难的计算(这里就不详细展开了),相关函数$R_\mathbb{Y}(t,s)=E(\mathbb{X}^2(t)\mathbb{X}^2(s))$便很容易得到了: \] \[\begin{equation*} \begin{aligned} R_\mathbb{Y}(t,s) & = E(\mathbb{X}^2(t)\mathbb{X}^2(s)) \\ & = R^2_\mathbb{X}(0)+2R^2_\mathbb{X}(t-s) \end{aligned} \end{equation*}\] $$

计算时需要注意,由于这里的\(\mathbb{X}\)是零均值的,所以协方差的每一项就是对应的相关函数,即 $$ \[\begin{equation*} \begin{aligned} \Sigma_{ij} & = C_\mathbb{X}(t_i,t_j) \\ & = R_\mathbb{X}(t_i,t_j)-E(\mathbb{X}(t_i))E(\mathbb{X}(t_j)) \\ & = R_\mathbb{X}(t_i,t_j) \\ & = R_\mathbb{X}(t_i-t_j) \end{aligned} \end{equation*}\] $$

硬限幅器与高斯过程

所谓硬限幅器,在数学上指的就是符号函数。设有一个高斯过程满足零均值:\(E(\mathbb{X}(t))=0\),且宽平稳:\(E(\mathbb{X}(t)\mathbb{X}(s))=E_\mathbb{X}(t-s)=E_\mathbb{X}(\tau)\),现将一个平方算子作用在该高斯过程上: \[ \mathbb{X}(t)\stackrel{h(x)=\text{sgn}(x)}{\longrightarrow}\mathbb{Y}(t). \] 其中, $$ \[\begin{equation*} \text{sgn}(x) = \left\{ \begin{aligned} 1, & x\gt0 \\ -1, & x\lt0 \\ \end{aligned} \right. \end{equation*}\], $$

这里,\(\text{sgn}(x)\)\(x=0\)处的取值对于我们之后的内容而言并不重要,因此没给定义。同样地,我们讨论\(\mathbb{Y}(t)\)的均值函数和相关函数。

均值函数

显然地不能再显然了,均值为0。 $$ \[\begin{equation*} \begin{aligned} E(\mathbb{Y}(t)) = & 1 \cdot p(\mathbb{X}(t)>0) + (-1) \cdot p(\mathbb{X}(t)<0) \\ = & p(\mathbb{X}(t)>0) - p(\mathbb{X}(t)<0) \\ = & 0 . \end{aligned} \end{equation*}\] $$ 这里,由于\(\mathbb{X}(t)\)是零均值的,故\(p(\mathbb{X}(t)>0) = p(\mathbb{X}(t)<0)\).

相关函数

根据定义, $$ \[\begin{equation*} \begin{aligned} R_\mathbb{Y} (t,s) = & E(\mathbb{Y}(t)\mathbb{Y}(s)) \\ = & E(\text{sgn}(\mathbb{X}(t)) \text{sgn}(\mathbb{X}(s))) \\ = & 1 \cdot p(\mathbb{X}(t)\mathbb{X}(s)>0) + (-1) \cdot p(\mathbb{X}(t)\mathbb{X}(s)<0), \end{aligned} \end{equation*}\] \[ 这里,我们记$P = p(\mathbb{X}(t)\mathbb{X}(s)>0)$。显然,$p(\mathbb{X}(t)\mathbb{X}(s)<0) = 1-P$,故 \] R_ (t,s) = 2P-1. $$ 现在我们开始计算\(P\)

\(\mathbb{X}(t)\mathbb{X}(s)\)的联合概率密度如图?所示,并被表示为 \[ f_{\mathbb{X}(t)\mathbb{X}(s)}(x_1,x_2) = \cfrac{1}{2\pi\sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp \left[ -\cfrac{1}{2(1-\rho^2)} \left( \cfrac{x_1^2}{\sigma_1^2} + \cfrac{x_2^2}{\sigma_2^2} - 2\rho \cfrac{x_1}{\sigma_1} \cfrac{x_2}{\sigma_2} \right)\right], \] 其中,\(\rho\)\(\mathbb{X}(t),\mathbb{X}(s)\)的相关,即\(\rho = E(\mathbb{X}(t) \mathbb{X}(s))\)。 要求\(\mathbb{X}(t)\mathbb{X}(s)>0\)的概率,即对联合概率密度分布在第一、第三象限中积分,即图?的灰色区域: \[ P= \left( \int_0^\infty\int_0^\infty + \int_{-\infty}^0\int_{-\infty}^0 \right) \cfrac{1}{2\pi\sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp \left[ -\cfrac{1}{2(1-\rho^2)} \left( \cfrac{x_1^2}{\sigma_1^2} + \cfrac{x_2^2}{\sigma_2^2} - 2\rho \cfrac{x_1}{\sigma_1} \cfrac{x_2}{\sigma_2} \right)\right] \text{d}x_1 \text{d}x_2. \] 接下来将花费一定篇幅来计算这一积分。

首先,观察到被积函数是关于原点对称的\(f_{\mathbb{X}(t)\mathbb{X}(s)}(x_1,x_2) = f_{\mathbb{X}(t)\mathbb{X}(s)}(-x_1,-x_2)\),而被积区域恰好也是关于原点对称的,这在图?中也很容易直观地被看出来,因此,积分可以被化简为 \[ P= \int_0^\infty\int_0^\infty \cfrac{1}{\pi\sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp \left[ -\cfrac{1}{2(1-\rho^2)} \left( \cfrac{x_1^2}{\sigma_1^2} + \cfrac{x_2^2}{\sigma_2^2} - 2\rho \cfrac{x_1}{\sigma_1} \cfrac{x_2}{\sigma_2} \right)\right] \text{d}x_1 \text{d}x_2. \] 为了让积分变量显得更简洁,我们进行换元\(y_1 = \cfrac{x_1}{\sigma_1\sqrt{1-\rho^2}}, y_2 = \cfrac{x_2}{\sigma_2\sqrt{1-\rho^2}}\),于是 $$ \[\begin{equation*} \begin{aligned} P & = \int_0^\infty\int_0^\infty \cfrac{1}{\pi\sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp \left[ -\cfrac{1}{2(1-\rho^2)} \left( (1-\rho^2)y_1^2 + (1-\rho^2)y_2^2 - 2\rho (1-\rho^2)y_1y_2 \right)\right] (1-\rho^2)\sigma_1 \sigma_2 \text{d}y_1 \text{d}y_2 \\ & = \int_0^\infty\int_0^\infty \cfrac{1}{\pi} \sqrt{1-\rho^2} \exp \left[ -\cfrac{1}{2} \left(y_1^2 + y_2^2 - 2\rho y_1y_2 \right)\right] \text{d}y_1 \text{d}y_2. \end{aligned} \end{equation*}\] \[ 此时,我们发现被积函数中存在交叉项,让积分变得异常困难,于是第二次换元:$y_1=u+v,y_2=u-v$。这样的换元实际上就是对$y_1,y_2$的线性变换: \] ( \[\begin{aligned} u\\v \end{aligned}\]

)

( \[\begin{aligned} \frac{1}{2} && \frac{1}{2} \\ \frac{1}{2} && -\frac{1}{2} \end{aligned}\]

)

( \[\begin{aligned} y_1 \\ y_2 \end{aligned}\]

) \[ 在这样的线性变换下,积分变量则变成了 \] \[\begin{equation*} \text{d}y_1 \text{d}y_2 = \left|\left| \cfrac{\partial(y_1,y_2)}{\partial(u,v)} \right|\right| \text{d}u \text{d}v =\left|\left| \begin{aligned} 1&&1\\\\1&&-1 \end{aligned} \right|\right| \text{d}u \text{d}v = 2\text{d}u \text{d}v \end{equation*}\] \[ 而$\text{d}y_1 \text{d}y_2$的积分区域如图?(a)的灰色区域所示,在上述线性变换下,积分区域成了图?(b)的灰色区域所示,将该区域记为$\text{Area}$。于是 \] \[\begin{equation*} \begin{aligned} P & = \int_0^\infty\int_0^\infty \cfrac{1}{\pi} \sqrt{1-\rho^2} \exp \left[ -\cfrac{1}{2} \left(y_1^2 + y_2^2 - 2\rho y_1y_2 \right)\right] \text{d}y_1 \text{d}y_2 \\ & = \iint_{\text{Area}} \cfrac{1}{\pi} \sqrt{1-\rho^2} \exp \left[ -\cfrac{1}{2} \left((u+v)^2 + (u-v)^2 - 2\rho (u+v)(u-v) \right)\right] 2\text{d}u \text{d}v\\ & = \iint_{\text{Area}} \cfrac{2}{\pi} \sqrt{1-\rho^2} \exp \left[- \left((1-\rho)u^2 + (1+\rho) v^2 \right)\right] \text{d}u \text{d}v. \end{aligned} \end{equation*}\] \[ 为了让积分显得更简洁,我们再做一次换元:$u^\prime=\sqrt{1-\rho}u, v^\prime=\sqrt{1+\rho}v$。此时,积分区域变成了图?(c)的灰色区域所示,其中$\theta=\arctan \cfrac{\sqrt{1+\rho}}{\sqrt{1-\rho}}$,并把该区域记$\text{Area}^\prime$,于是 \] \[\begin{equation*} \begin{aligned} P & = \iint_{\text{Area}} \cfrac{2}{\pi} \sqrt{1-\rho^2} \exp \left[- \left((1-\rho)u^2 + (1+\rho) v^2 \right)\right] \text{d}u \text{d}v \\ & = \iint_{\text{Area}^\prime} \cfrac{2}{\pi} \exp \left[- \left(u^{\prime\ 2} + v^{\prime\ 2} \right)\right] \text{d}u^{\prime} \text{d}v^{\prime}. \end{aligned} \end{equation*}\] \[ 到此,就很简单了,极坐标换元:$\text{d}u^\prime \text{d}v^\prime = r\text{d}r\text{d}\theta$,其中,$r:0\rightarrow\infty, \theta:\theta_0 = -\arctan \cfrac{\sqrt{1+\rho}}{\sqrt{1-\rho}}\rightarrow \theta_1 = \arctan \cfrac{\sqrt{1+\rho}}{\sqrt{1-\rho}}$,于是 \] \[\begin{equation*} \begin{aligned} P & = \iint_{\text{Area}^\prime} \cfrac{2}{\pi} \exp \left[- \left(u^{\prime\ 2} + v^{\prime\ 2} \right)\right] \text{d}u \text{d}v \\ & = \int_{r=0}^\infty \int_{\theta=\theta_0}^ \cfrac{2}{\pi} \exp \left(- r^2\right) r\text{d}r\text{d}\theta \\ & = -\cfrac{1}{\pi} \int_{r=0}^\infty \exp \left(- r^2\right) \text{d}(-r^2) \int_{\theta=\theta_0}^ \text{d}\theta \\ & = -\cfrac{1}{\pi} \cdot (-1) \cdot 2\arctan \cfrac{\sqrt{1+\rho}}{\sqrt{1-\rho}} , \end{aligned} \end{equation*}\] \[ 即 \] P = . $$ 实际上,至此我们已经得到答案了。不过,当我们对照图?来考察这个答案时,不禁会思考这样一个问题:目前得到的\(P\)似乎没有太直观的几何意义,这个\(P\)跟图?中的灰色区域到底有何联系?当然我们可以猜想,当图?所示的联合高斯分布正相关越强(\(\rho\)越接近\(1\)),\(P\)应该越大,反之,当图?所示的联合高斯分布正相关越强(\(\rho\)越接近\(-1\)),\(P\)应该越小。为了验证这一猜想,我们可以利用三角函数的若干性质,来改写这个\(P\),使之具有更为直观的几何意义。

\(\arctan \cfrac{\sqrt{1-\rho}}{\sqrt{1+\rho}}=\alpha\),代入三角函数公式\(\cos 2\alpha = \cfrac{1-\tan^2\alpha}{1+\tan^2\alpha}\),我们可以得到: \[ \cos 2\alpha = \cfrac{1-\tan^2\alpha}{1+\tan^2\alpha} = \cfrac{1-\cfrac{1-\rho}{1+\rho}}{1+\cfrac{1-\rho}{1+\rho}} = -\rho \]\[ \alpha = \cfrac{\arccos (-\rho)}{2} = \cfrac{1}{2} (\cfrac{\pi}{2} - \arcsin (-\rho)) = \cfrac{\pi}{4} + \cfrac{\arcsin (\rho)}{2}, \] 综上, $$ \[\begin{equation*} \begin{aligned} P & = \cfrac{2}{\pi} \alpha \\ & = \cfrac{2}{\pi} \left( \cfrac{\pi}{4} + \cfrac{\arcsin (\rho)}{2} \right) \\ & = \cfrac{1}{2} + \cfrac{1}{\pi} \arcsin (\rho), \end{aligned} \end{equation*}\] $$ 即\(P = p(\mathbb{X}(t)\mathbb{X}(s)>0) = \cfrac{1}{2} + \cfrac{1}{\pi} \arcsin (\rho)\) 。至此,我们可以很完美地将这个答案与图?中对应起来,并验证我们刚才的猜想了:当\(\mathbb{X}(t)\)\(\mathbb{X}(s)\)越是正相关,即\(\rho\)越接近\(1\),图?所示的椭圆区域越偏向于东北-西南方向,此时\(P\)不断增大直至\(P\rightarrow 1, \rho \rightarrow 1\);反之,当\(\mathbb{X}(t)\)\(\mathbb{X}(s)\)越是负相关,即\(\rho\)越接近\(-1\),图?所示的椭圆区域越偏向于东北-西南方向,此时\(P\)不断减小直至\(P\rightarrow 0, \rho \rightarrow -1\);而当\(\mathbb{X}(t)\)\(\mathbb{X}(s)\)接近独立时,即\(\rho\)越接近\(0\),图?所示的椭圆区域就越接近正圆形,此时,此时\(P\)将趋近至\(P\rightarrow \cfrac{1}{2}, \rho \rightarrow 0\)

至此,我们可以得到\(\mathbb{Y}(t)=\text{sgn}(\mathbb{X}(t))\)的相关函数为 \[ R_\mathbb{Y} (t,s) = 2P-1 = \cfrac{2}{\pi} \arcsin (\rho). \]

Price 定理

为了更好地计算高斯过程与非线性系统的相关计算,在此引入一个工具:Price 定理。

Price 定理:

对于一个均值分别为\(0,0\),方差分别为\(\sigma_1^2,\sigma_2^2\),相关系数为\(\rho\)的联合高斯分布\((X_1,X_2)\sim N\),和一个非线性函数\(g(x_1,x_2)\),有 \[ \cfrac{\partial E (g(X_1,X_2))}{\partial \rho} = \sigma_1 \sigma_2 E\left(\cfrac{\partial^2g}{\partial x_1 \partial x_2} (X_1,X_2)\right). \]

以刚才我们限幅器下高斯过程的相关函数计算为例,

第一步,确定\(g(X_1,X_2)=\text{sgn}(X_1)\text{sgn}(X_2)\)

第二步,计算\(g\)的导数: \[ \cfrac{\partial^2g}{\partial x_1 \partial x_2} (X_1,X_2) = 2\delta(X_1)\cdot 2\delta(X_2) = 4\delta(X_1)\delta(X_2); \]

这里,\(\delta(\cdot)\)是狄拉克函数,或称冲击函数,在数学中是一种抽象函数: \[ \begin{equation*} \delta (x-x_0) = \left\{ \begin{aligned} +\infty, & x=x_0 \\ 0, & \text{elsewhere} \end{aligned} \right. \end{equation*} \] 且满足: \[ \int_{-\infty}^\infty \delta (x) \text{d}x = 1. \] 一般地,为方便计算,无特别说明时,取\(x_0 = 0\)

狄拉克函数是很好的泛函分析工具,我们用到了或将用到其这些性质(在此就不展开证明了):

与阶跃函数的关系

狄拉克\(\delta\)函数可以看作是阶跃函数\(H(x)\)的导数,表达为: \[ \cfrac{\text{d}}{\text{d}x}H(x)=\delta(x), \] 而符号函数可以被阶跃函数表示为 \[ \text{sgn}(x)=2H(x)-1, \] 故有 \[ \cfrac{\text{d}}{\text{d}x}\text{sgn}(x)=2\delta(x). \]

抽取性质 对于任意的连续函数\(f(x)\),我们有: \[ \int_{-\infty}^\infty f(x)δ(x−x_0) dx=f(x_0), \] 也就是说,\(\delta\)函数在积分中使得\(f(x)\)只在点\(x=x_0\)作出贡献,因此它起到了在积分中“选取”函数\(f(x)\)\(x_0\)处的值的作用。

第三步,计算Price等式右端: $$ \[\begin{equation*} \begin{aligned} \sigma_1 \sigma_2E\left(\cfrac{\partial^2g}{\partial x_1 \partial x_2} (X_1,X_2)\right) & = \sigma_1 \sigma_2\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \cfrac{\partial^2g (X_1,X_2)}{\partial x_1 \partial x_2} f_{X_1,X_2}(x_1,x_2)\text{d}x_1 \text{d}x_2\\ & = \sigma_1 \sigma_2\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \cfrac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}} 4\delta(X_1)\delta(X_2) \exp \left[ -\cfrac{1}{2(1-\rho^2)} \left( \cfrac{x_1^2}{\sigma_1^2} + \cfrac{x_2^2}{\sigma_2^2} - 2\rho \cfrac{x_1}{\sigma_1} \cfrac{x_2}{\sigma_2} \right)\right] \text{d}x_1 \text{d}x_2 \\ & = \cfrac{2}{\pi \sqrt{1-\rho^2}} \left.\exp \left[ -\cfrac{1}{2(1-\rho^2)} \left( \cfrac{x_1^2}{\sigma_1^2} + \cfrac{x_2^2}{\sigma_2^2} - 2\rho \cfrac{x_1}{\sigma_1} \cfrac{x_2}{\sigma_2} \right)\right]\right|_{x_1=x_2=0} \\ & = \cfrac{2}{\pi \sqrt{1-\rho^2}}. \end{aligned} \end{equation*}\] \[ 代入Price等式可得: \] = . \[ 记$E (g(X_1,X_2)) = h(\rho)$,则解微分方程 \] h() = . \[ 为了解这一微分方程,首先找到其初值,显然$\left. h(\rho)\right|_{\rho=0}$是比较好找的。当$\rho=0$时,意味着$X_1,X_2$独立,立即得到 \] \[\begin{equation*} \begin{aligned} h(0) & = E (g(X_1,X_2)) \\ & = E(\text{sgn}(X_1)\text{sgn}(X_2)) \\ & = E(\text{sgn}(X_1)) \cdot E(\text{sgn}(X_2))\\ & =0, \end{aligned} \end{equation*}\] \[ 故 \] h() - h(0) = _0^ s \[ 立即得到 \] h() = (), \[ 即 \] E ((X_1)(X_2)) = (). $$ 这与上一节求高斯过程经过硬限幅器系统后的相关函数结论一致,少走不少弯路。

你就说Price它好不好使吧。

——张颢