概率论与数理统计笔记-4月

Author Avatar
MorphLing 4月 06, 2021


2021.04.05

随机变量间的独立性

设联合分布函数$F(x_1,x_2,…,x_n)$，$F_i(x_i)$为$X_i$的边际分布函数，若$F(x_1,x_2,…,x_n)=\prod\limits_{i=1}^nF_i(x_i)$，则称$X_1,X_2,…,X_n$相互独立

  • 离散随机变量场合
  • 连续随机变量场合

（通常认为样本独立同分布）

多项分布

二项分布推广，又称r项分布（r-1维随机变量）

$P(X_1=x_1,…,X_r=x_r)=\frac{n!}{x_1!…x_r!}p_1^{x_1}…p_r^{x_r}$

其中$\sum\limits_{i=1}^nx_i=n$

r=2时 -> 二项分布

三项分布的边际分布：二项分布(p139 例3.2.4)

r项分布的最低阶边际分布是r个二项分布$b(n,p_i)$,i=1,2,…,r

多维均匀分布$(x_1,x_2,…)’\sim U(D)$

$p(x_1,…,x_n)=\frac{1}{S_D}$

多维指数分布

$F(x_1,x_2)=1-e^{-x_1}-e^{-x_2}+e^{-x_1-x_2+\lambda x_1x_2},x1,x2>0$

边际分布$F_{x_1}(x_1)=F(x_1,+\infty)=\lim\limits_{x_2\rightarrow \infty}(1-e^{-x_1}-e^{-x_2}+e^{-x_1-x_2+\lambda x_1x_2})=1-e^{x_1}$

$P_{X_1}(x_1)=\frac{d}{dx}F_{X_1}(x_1)=e^{-x_1}\sim Exp(1)$

多维正态分布

$P(X)=p(x_1,…,x_n)=(2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}exp\{-\frac{1}{2}(\vec{x}-\vec u )\Sigma^{-1}(\vec x - \vec u )\}$

其中$\vec u=(u_1,…,u_n)^T$$\Sigma$，是一个$n\times n$的对称矩阵且正定

n=2时为二维正态分布，记为$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$，其中$-\infty < \mu_1,\mu_2 < \infty, \sigma_1,\sigma_2 >0, -1\leqslant\rho\leqslant 1$

$\mu_1,\mu_2$分别是X与Y的均值，$\sigma_1^2,\sigma_2^2$分别是X与Y的方差，$\rho$时X与Y的相关系数

$p(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho \frac{(x-\mu_1)(x-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\}$

2021.04.11

期望

独立同分布(IID)

性质：若X、Y相互独立，则$E(XY)=E(X)E(Y)$

  • $Var(X\pm Y)=Var(X)+Var(Y)$

协方差

定义：$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$

性质3.4.4 $Cov(X,Y)=E(XY)-E(X)E(Y)$

性质3.4.5 独立可推出不相关，反之不然

性质3.4.6 对任意二维变量(X, Y) $Var(X\pm Y)=Var(X)+Var(Y)\pm2Cov(X,Y)$

性质 3.4.8 $Cov(X,a)=0$

性质 3.4.10 $Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$

方差-协方差矩阵

image-20210422224438259

相关系数p162-163

定义3.4.2 $Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}=\frac{Cov(X,Y)}{\sigma_X\sigma_Y}$

标准化变量（二元指数分布$\lambda$即相关系数）

性质 取值范围[-1,1]

Schwarz不等式p164

image-20210422225513277

2021.04.14

可加性/卷积 p146-147

  • 泊松分布可加性

    image-20210422225609450

  • 二项分布可加性

    image-20210422225643391

  • 负二项分布可加性

连续场合p149

例3.3.8 伽马分布可加性p151

image-20210422225719917

（指数分布是$\alpha=1$的伽马分布，但加起来是伽马分布）因此指数分布不具有可加性

卡方分布$\Chi^2(n)\sim Ga(\frac{n}{2},\frac{1}{2})$，具有可加性

例3.3.7 p150 正态分布的可加性

image-20210422225738513

极值分布p148 3.3.4

image-20210422225808290

image-20210422225824491

2021.04.22

变量变换法

若有$u=g_1(x,y),v=g_2(x,y)$

有连续偏导数，且存在唯一的反函数$x=x(u,v),y=y(u,v)$

其变换的雅可比行列式$J=\frac{\part(x,y)}{\part(u,v)}\ne 0$

则$p(u,v)=p(x(u,v),y(u,v))|J|$

  • 增补变量法

    乘积形式：

    若X与Y相互独立，其密度函数分别为$p_X(x),p_Y(y)$则$U=XY$的密度函数为$p_U(u)=\int_{-\infty}^\infty p_X(\frac{u}{v})p_Y(v)\frac{1}{|v|}dv$

    证明：$u=xy,v=y$代换后得到$p(u,v)$再求边际密度

    商的形式：

    $U=X/Y,p_U(u)=\int_{-\infty}^\infty p_X(uv)p_Y(v)|v|dv$

条件分布

  • 离散情形

    $p_{i|j}=P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{p_{\cdot j}}$

    $p_{j|i}=P(Y=y_j|X=x_i)=\frac{P(X=x_i,Y=y_j)}{P(X=x_j)}=\frac{p_{ij}}{p_{i \cdot}}$

    $F(x|y_j)=\sum\limits_{x_i\leqslant x}P(X=x_i|Y=y_j)=\sum\limits_{x_i\leqslant x}p_{i|j}$

    $F(y|x_i)=\sum\limits_{y_j\leqslant y}P(Y=y_j|X=x_i)=\sum\limits_{y_j\leqslant y}p_{j|i}$

  • 连续情形

    连续情形下，$P(Y=y)=0$，所以不能用条件概率直接计算$P(X\leqslant x|Y=y)$，所以将$P(X\leqslant x|Y=y)$看成$h\rightarrow 0$时的$P(X\leqslant x|y\leqslant Y\leqslant y+h)$的极限

    结合积分中值定理，可得$F(x|y)=P(X\leqslant x|Y=y)=\int_{-\infty}^x\frac{p(u,y)}{p_Y(y)}du$

    $p(x|y)=\frac{p(x,y)}{p_Y(y)}$

    $F(y|x)=P(Y\leqslant y|X=x)=\int_{-\infty}^y\frac{p(x,v)}{p_X(x)}dv$

    $p(y|x)=\frac{p(x,y)}{p_X(x)}$

连续场合的全概率公式和贝叶斯公式

  • 全概率公式

    $p(x,y)=p_X(x)p(y|x)$

    $p(x,y)=p_Y(y)p(x|y)$

    这说明，由边际分布和条件分布就可以得到联合分布

    $p_X(x)=\int_{-\infty}^\infty p_Y(y)p(x|y)dy$

    $p_Y(y)=\int_{-\infty}^\infty p_X(x)p(y|x)dx$

  • 贝叶斯公式

    $p(x|y)=\frac{p(y|x)p(x)}{\int_{-\infty}^\infty p_X(x)p(y|x)dx}$

条件期望

image-20210422164330810

条件期望$E(X|Y=y)$是y的函数，对y的不同取值，条件期望的取值也在变化，可以记$g(y)=E(X|Y=y)$，也可以将$E(X|Y=y)$看成Y=y时$E(X|Y)$的一个取值，由此看出$E(X|Y)$本身也是一个随机变量

重期望公式

$E(X)=E(E(X|Y))$

证明：

image-20210422170056724

理解：对原样本分组后加权平均

公式总结

image-20210420134542747

image-20210422141912729