概率论与数理统计

Ch-1 概率论的基本概念

必然事件与不可能事件

必然事件 $S$ 发生的概率为 $100\%$ ，发生概率为 $100\%$ 的不一定为必然事件
不可能事件 $\emptyset$ 发生的概率为 $0\%$ ，噶生概率为 $0\%$ 的不一定为不可能事件

在 $[0,1]$ 中随机取数，取到 $(0,1)$ 的概率为 $100\%$ 但不是必然事件
在 $[0,1]$ 中随机取数，取到 $0.5$ 的概率为 $0\%$ 但不是不可能事件

容斥原理

$$\begin{align} P(\bigcup_{j=1}^nA_j)=&\sum_{j=1}^nP(A_j)-\sum_{i<j}P(A_iA_j) +\sum_{i<j<k}P(A_iA_jA_k)-\cdots+\\ &(-1)^{n-1}P(A_1A_2\cdots A_n),n\geq1. \end{align}$$

古典概型

对于某一个随机试验，如果满足以下两个条件：
（1）样本空间中样本点数有限（有限性）
（2）出现每一个样本点的概率相等（等可能性）
则称这个试验为等可能概型，又称古典概型

在等可能概型中，任一事件 $A$ 的概率为 $\begin{align}P(A)=\frac{A所包含的样本点数}{S中样本点总数}\end{align}$

条件概率

如果 $P(B)>0$ ，那么在 $B$ 发生的条件下 $B$ 发生的条件概率为

$$P(A|B)=\frac{P(AB)}{P(B)}$$

当 $P(C)\neq 0$ 时，条件概率满足性质：

$$P(A\cup B|C)=P(A|C)+P(B|C)-P(AB|C)$$

乘法公式

由条件概率的定义可知 $P(A)\neq 0,P(B)\neq 0$ 时，有乘法公式：

$$P(AB)=P(A)\cdot P(B|A)=P(B)\cdot P(A|B)$$

一般地，当 $P(A_1A_2\cdots A_{n-1})\neq 0(n\geq 3)$ 时，有

$$P(A_1A_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\cdots P(A_n|A_1A_2\cdots A_{n-1})$$

全概率公式

设 $S$ 为某一随机试验的样本空间， $B_1,B_2,\cdots,B_n$ 为该试验的一组事件，且满足

$$\begin{align} &(1) B_iB_j=\emptyset,i,j=1,2,\cdots,n,i\neq j\\ &(2) B_1\cup B_2\cup\cdots\cup B_n=S \end{align}$$

则称 $B_1,B_2,\cdots,B_n$ 为 $S$ 的一个划分，或称为 $S$ 的一个完备事件组

设 $S$ 为某样本空间，若 $B_1,B_2,\cdots,B_n$ 是 $S$ 的一个划分，且 $P(B_j)>0,j=1,2,\cdots,n$ ，则对任一事件 $A$ ，有全概率公式

$$P(A)=\sum_{j=1}^nP(B_j)P(A|B_j)$$

注：划分的条件可以弱化为 $P(B_1\cup B_2\cup\dots\cup B_n)=1$

贝叶斯公式

设 $S$ 为某样本空间，若 $B_1,B_2,\cdots,B_n$ 是 $S$ 的一个划分，且 $P(B_j)>0,j=1,2,\cdots,n$ ，则对任一事件 $A$ ，$P(A)\neq 0$ ，有概率的贝叶斯公式或逆概公式

$$P(B_k|A)=\frac{P(B_kA)}{P(A)} =\frac{P(B_k)P(A|B_k)}{\sum_{j=1}^nP(B_j)P(A|B_j)}$$

$P(B_j)$ 的概率往往是已知假设或累积经验等，常称 $P(B_j)$ 为先验概率，$A$ 发生后 $B_j$ 发生的概率进行修正，常称 $P(B_j|A)$ 为后验概率

事件的独立性

设 $A,B$ 为两随机事件，当 $P(AB)=P(A)\cdot P(B)$ 时，称 $A,B$ 相互独立
等价于条件概率等于无条件概率，即 $P(B|A)=P(B)$

当事件 $A$ 与 $B$ 相互独立时，$A$ 与 $\overline{B}$ ，$\overline{A}$ 与 $B$ ，$\overline{A}$ 与 $\overline{B}$ 均相互独立

设 $A,B,C$ 为三个随机事件，称 $A,B,C$ 两两独立，当且仅当满足

$$\begin{cases} P(AB)=P(A)P(B),\\ P(AC)=P(A)P(C),\\ P(BC)=P(B)P(C) \end{cases}$$

若同时还满足 $P(ABC)=P(A)P(B)P(C)$ 则称 $A,B,C$ 相互独立

一般地，若 $n$ 个事件 $A_1,A_2,\cdots,A_n(n\geq 2)$ 相互独立，则对于任意 $k$ 个事件，满足

$$P(A_{i_1}A_{i_2}\cdots A_{i_k})=\prod_{j=1}^k P(A_{i_j})$$

试验的结果互不影响的一系列试验称为独立试验，若各个子试验条件相同，则称为重复试验

---

Ch-2 随机变量及其概率分布

随机变量

设随机事件的 样本空间 为 $S$ ，若 $X=X(e)$ 为定义在样本空间 $S$ 上的 实值单值函数，且 $e\in S$ 则称 $X=X(e)$ 为随机变量，常用大写英文字母表示

若随机变量的所有取值为 有限个 或 可列个 ，则称此变量为 离散型随机变量

概率分布律

设 $X$ 为 离散型随机变量，若其可能取值为 $x_1,x_2,\cdots,x_k,\cdots$ ，则称

$$P\{X=x_k\}=p_k,\quad k=1,2,\cdots$$

为 $X$ 的 概率分布律 或 概率分布列，称为 $X$ 的分布律或分布列

概率分布律满足以下两条性质：

$$(1)\space p_k\geq0,k=1,2,\cdots;\quad(2)\sum_{k=1}^{+\infty}p_k=1$$

0-1 分布

若随机变量 $X$ 的概率分布律为

$$P\{X=k\}=p^k(1-p)^{1-k},\quad k=0,1$$

其中 $0<p<1$ ，则称 $X$ 服从参数为 $p$ 的 0-1 分布，也称为 两点分布
并用记号 $X\sim 0-1(p)$ 表示

二项分布

若随机变量 $X$ 的概率分布律为

$$P\{X=k\}=\mathrm{C}_n^kp^k(1-p)^{n-k},\quad k=0,1,2,\cdots,n,$$

其中 $0<p<1,n\geq 1$ 则称 $X$ 服从参数为 $(n,p)$ 的 二项分布
并用记号 $X\sim B(n,p)$ 表示

设在 $n$ 次独立重复试验中，每次试验都只有两个结果：$A,\overline{A}$ ，且每次试验中 $A$ 发生的概率不变，记 $P(A)=p,0<p<1$ ，则称这一系列试验为 $n$ 重伯努利试验

泊松分布

若随机变量 $X$ 的概率分布律为

$$P\{X=k\}=\frac{e^{-\lambda}\lambda^k}{k!},\quad k=0,1,2\cdots,$$

其中 $\lambda>0$ ，则称 $X$ 服从参数为 $\lambda$ 的 泊松分布
并用记号 $X\sim P(\lambda)$ 表示

当 $n$ 足够大， $p$ 充分小（一般要求 $p<0.1$ ），且 $np$ 保持适当大小时，参数为 $(n,p)$ 的二项分布可以用参数为 $\lambda=np$ 的泊松分布 近似描述

$$\begin{align} P\{X=k\}&=\mathrm{C}_n^kp^k(1-p)^{n-k} =\frac{n!}{k!(n-k)!}p^k(1-p)^{n-k}\\ &=\frac{n!}{k!(n-k)!}(\frac{\lambda}{n})^k(1-\frac{\lambda}{n})^{n-k}\\ &=\frac{n(n-1)\cdots(n-k+1)}{n^k}\cdot\frac{\lambda^k}{k!}\cdot \frac{(1-\lambda/n)^n}{(1-\lambda/n)^k}\\ &\approx\frac{e^{-\lambda}\lambda^k}{k!} \end{align}$$

超几何分布

若随机变量 $X$ 的概率分布律为

$$P\{X=k\}=\frac{\mathrm{C}_a^k\mathrm{C}_b^{n-k}}{\mathrm{C}_N^n},\quad k=l_1,l_1+1,\cdots,l_2,\quad a+b=N$$

其中 $l_1=\max\{0,n-b\},l_2=\min\{a,n\}$ ，则称 $X$ 服从 超几何分布
并用记号 $X\sim H(n,a,N)$ 表示

帕斯卡分布

若随机变量 $X$ 的概率分布律为

$$\begin{align} P\{X=k\}&=P\{\text{前}\space k-1\space\text{次中恰有}\space r-1\space \text{次}\space A\space 发生，且第\space k\space 次\space A\space 发生\}\\ &=\mathrm{C}_{k-1}^{r-1}p^r(1-p)^{k-r},\space k=r,r+1,r+2,\cdots \end{align}$$

则称 $X$ 服从参数为 $(r,p)$ 的 帕斯卡分布 ，也称为 负二项分布
并用记号 $X\sim NB(r,p)$ 表示

连续型随机变量

对于随机变量 $X$ ，其 分布函数 为 $F(X)$ ，若存在一个 非负的实值函数 $f(x),-\infty<x<+\infty$ ，则对于任意实数 $x$ ，有：

$$F(x)=\int_{-\infty}^{+\infty} f(t)\mathrm{d}t$$

则称 $X$ 为 连续型随机变量 ，称 $f(x)$ 为 概率密度函数

均匀分布

设随机变量 $X$ 具有 密度函数

$$f(x)=\begin{cases}\begin{align} &\frac{1}{b-a},&x\in(a,b)\\ &0,&x\not\in(a,b) \end{align}\end{cases}$$

则称 $X$ 在区间 $(a,b)$ 上 均匀分布，记为 $X\sim U(a,b)$

正态分布

设随机变量 $X$ 具有 密度函数

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, \quad -\infty<x<+\infty$$

其中 $-\infty<\mu<+\infty,\sigma>0$ 则称 $X$ 服从参数为 $(\mu,\sigma)$ 的 正态分布
简称 $X$ 为 正态变量，记为 $X\sim N(\mu,\sigma^2)$

正态变量 $X$ 的密度函数 $f(x)$ 具有以下性质：

$$\begin{align} &(1)\space f(x)关于\space x=\mu\space 对称\\ &(2)\max_{-\infty<x<+\infty} f(x)=f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}\\ &(3)\lim_{|x-\mu|\rightarrow+\infty}f(x)=0 \end{align}$$

特别地，当 $\mu=0,\sigma=1$ 时，此时的正态变量服从 标准正态分布

$$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2},\quad -\infty<x<+\infty$$

指数分布

设随机变量 $X$ 具有 密度函数

$$f(x)=\begin{cases}\begin{align} &\lambda \mathrm{e}^{-\lambda x},&x>0\\ &0,&x\leq0 \end{align}\end{cases}$$

其中 $\lambda>0$ ，则称 $X$ 服从参数为 $\lambda$ 的指数分布，记为 $X\sim E(\lambda)$