概率论基础笔记（旧文）

Markov 不等式

$P(|\lambda|\ge \epsilon)\le \frac{E|\lambda|^\alpha}{\epsilon^\alpha}$

$\alpha=2$ 即Chebyshev 不等式.$\def\R{\mathbb{R}}\def\N{\mathbb{N}}$

证明：

$P(|X|\ge \varepsilon) = E\mathbf{1}_{(|X|\ge\epsilon)}\le E\frac{|X(\omega)|^\alpha}{\epsilon^\alpha} \mathbf{1} _{(|X|\ge\epsilon)}\le \cdots$

线性预测

知道 $X$ ，用 $aX+b$ 预测 $Y$，如何确定 $a,b$？

$E(Y-(a+bX))^2=\mathrm{Var}(Y-bx)+(EY-a-bEX)^2$

条件：

$EY-a-bEX=0 \\ \mathrm{Var}=E(Y-bX)^2-(EY-bEX)^2=\left(b^2\sqrt{DX}-2b cov\right)$

例：设 $(X,Y)$ 密度

$f(x,y)=\begin{cases}\frac{1}{4ah}, -a+bx<y<a+bx, -h<x<h,\\ 0\end{cases}$

设 $b>0$.

求：① $\rho_{XY}$ （答案：$\rho=\frac{bh}{\sqrt{a^2+b^2h^2}}$）②最佳线性预测，$X$ 对 $Y$，（期待是 $Y=bx$）

★条件数学期望

1.定义.离散型.设 $x\in {x_i|i\in \N}$, y取 $y_j$.假设 $P(Y=y_j)>0, j\ge 1$

令 $m(y_j)=E(X|Y=y_j)=\sum x_i p(x_i|Y=y_j)$

它是一个随机变量.

连续型.

$E(E(X|Y))=EX$.

$E(E(Y|X))=EY$ as long as $E|Y|<\infty$

和线性预测的关系. $E(Y-g(x))^2 \ge E(Y-E(Y|X))^2$

就是最佳预测！可是应用中没有用.因为找不出来，只是理论上的[快哭了]

例 $N, EN=50, X_i$ 第 $i$ 个人消费额.$EX_i=8$ 求 $EY=\sum^N X_i$.

$EY=\sum^\infty E(\sigma^N x_i|N=n)p(N=n) = \sigma^\infty E(\sigma^|n X_i) p(N=n) =\sum^N nEX_i p(N=n)=50*8=400$

用条件数学期望求期望.

设 $E|X|<\infty$，则 $E(X/Y)$ 存在.再求 E(E(X/Y))=EX.

设$Y$是离散型，$B={y\in \R| P(Y=y)>0}$，

$EX=\sum_{y\in B} E(X/Y=y)P(Y=y)$

设$Y$是连续型，以密度函数 $f_Y(y)$，则

$EX=\int E(X/Y=y)f_Y(y)dy$

特别 $X=\mathbb{1}_A, A$, $Y$ 是离散型.

$P(A)=\sum_{y\in B} P(A/Y=y)P(Y=y)$

$X=1_A$, $Y$ 有密度函数 $f_Y(y)$ （略）
设 $\Omega=\mathop{+}_{i} A_i$，$EX=\sum_i=1^n E(X/A_i) P(A_i)$

例子独立 $U_1, U_2, \ldots$ $\sim U(0,1)$.

$N := \min{n\ge 1 : \sum_{i=1}^n U_i >1}$

$EN?$

我们再另定义随机变量：$N(x)$，就是上述定义 $1$ 换为 $x$，所求即 $N(1)$.

令.$m(X)=EN(X)$，如何求 $m(1)$？

$m(X)=E(E(N(X)/U_1))=\int_0^1 E(N(X)|U_1 =y)dy$

如果 $X<1$，$m(X)=\int_0^X (m(X-y)+1) dy+(1-X)=1+\int_0^X m(y)dy$.

$m(0)=1$.$m’(X)=m(X)$. $m(X)=e^X$.

设 $X,Y$ 独立，连续型的随机变量，密度分别为 $f_X, f_Y$，求$X-Y$ 的spdf.

先求分布.

$P(X-Y<z)=\int\R P(X-Y<z/Y=y)f_Y(y) dy=\int\R F_X(y+z)f_Y(y)dy$

$X-Y:=Z$ 之分布.如上所示，求导即可.

$P(X-Y<z)=\int^z fY(y) dy \int\R f_X(x+y) dx$

例4. $n$ 次重复独立事件，结果 $1, 2, \ldots, k$ 概率为 $p_1, p_2, \ldots, p_k$ $\sum p_k=1$ 令 $N_i$ 是 $n$ 次试验中 $i$ 出现的次数.

$E(N_j | N_i >0) (j\ne i)$

$np_j=EN_j = E(N_j | N_i=0) P(N_i=0)+E(N_j|N_i>0)P(N_i>0)$

看一圈下来，要求的是 $N(N_j|N_i=0)$. 但是就是 $np_j/(1-p_i)$

$|\Phi(x)|\le 1$
对于任意复的随机变量.$E|X|\ge |EX|$.
一致连续
矩可以被求导出来
非负定

收敛之间的关系

(1) $\eta_n \stackrel{d}{\to} \eta$

$\Uparrow$

(2)$\eta_n \stackrel{P}{\to}\eta$ $\Leftarrow$ (4) $\eta_n\stackrel{\text{a.s.}}{\to}\eta$

$\Uparrow$

(3)$\eta_n\stackrel{L^r}\to eta$

反例 (1)$\not\to$(2) 例如 $\eta_n=X \sim N(0,1)$，$\eta=-X$，当然它们有一样的分布函数，，，

但是，$P(|\eta_n-\eta|>\varepsilon)=P(|X-(-X|>\varepsilon)=P(2|X|>\varepsilon)=P(|X|>\varepsilon/2)\not\to0$

(2)$\not\to$(3) $(n,\mathscr{F}, P)=((0,1), \mathscr{B}, \lambda)$

$\etan =n^{1/r} \mathbf{1}{(0,1/n)}$，$\eta_n\stackrel{P}{\to}0$ 甚至 (4)

但是 (3) 不对

又可，$\eta_n=e^n \cdots$

一个特例.

设 $\eta_n \stackrel{d}{\to} c$，则 $\eta_n\stackrel{P}{\to} c$，证明 $\forall \varepsilon>0, P(|\eta_n-c|\ge \varepsilon)\le P(\eta_n\le c-\varepsilon)+P(\eta_n\ge c+\varepsilon)=1-F_n(c+\varepsilon)+F_n(c-\epsilon+0)=1-1+0=0$

定理设 $E|X|^n<\infty$ 则 $\phi(t)=Ee^{ikx}$ 展开，

$\phi(t)=\sum_{j=0}^n \frac{i^j EX^j}{j!} t^j +\frac{E|X|^n}{n!}t^n \delta(t)$ $\lim_{t\to 0 } \delta(t)=0, \quad |\delta(t)|\le 4$

证明.设 $f(t)$ 是实值，

$f(t)=\sum_{j=0}^n \frac{f^{(j)}(0)}{j!} t^j+\frac{f^{(n)}(u)-f^{(n)}(0)}{n!}t^n$

对实部和虚部作这样的展开.如

$\Re\Phi(t)=\cdots+\frac{\Delta(\Re\Phi)}{E|X|^n}\frac{t^n E|X|^n}{n!}$ $|Re \delta(t)|=|\frac{Re(i^nE(X^n(e^{ikt}-1))}{E|X|^n}|\le 2$

于是！

$\phi{\xi_n} (t)=1+it\mu +o(t)$， $\phi{\xin/n} (t)=Ee^{it\xi/n}=Ee^{+\cdots+\cdots+}=[\phi{\xi_n}(t/n)]^n=(1+it\mu/n+o(t/n))^n\to e^{it\mu}$

例1. 设 $\xik , k\ge 1$，i. i. d. $\sim U(0,1)$，$\eta_n = \sum{j=1}^{12} \xi_{12(k-1)+j}-6$ $Dn_1=1$，个个都近似 $N(0,1)$

例2. 要求 $x1, x_2 ,… x_n$ 的和 $S$，设 $x_j$ 四舍五入后 $y_1, y_2, \ldots, y_n$, $S$ $T$ 是对应的和，则 $\eta_i=S-T=\sum{j=1}^n (xj-y_j)=\sum{j=1}^n \xi_j, \xi_j\sim U(-0.5 \times 10^{-5},0.5\times 10^{-5})$，$|\eta|\le n\times 0.5\times 10^{-5}$
但是，如果用中心极限定理，$|\eta| \le 3\times 100 \times \frac{0.5\times 10^{-5}}{\sqrt{3}}$ (99.7%).