概率论

• 1. 事件的运算及概率
• 2. 全概率公式、贝叶斯公式
  • 2.1 条件概率
  • 2.2 全概率公式
  • 2.3 贝叶斯公式
• 3. 一维随机变量
• 4. 重要的分布
  • 4.1 二项分布
  • 4.2 0-1 分布
  • 4.3 泊松分布
  • 4.4 均匀分布
• 4.5 指数分布
• 4.6 正态分布
• 5. 离散型二维随机变量

1. 事件的运算及概率

常见事件的关系

• 包含事件 $A \subset B$
• 互斥事件 $AB = \emptyset$
• 对立事件（逆事件）$A \cup \overline{A} = S,\ A\overline{A} = \emptyset$
• 独立事件 $P(AB) = P(A)P(B)$

常见的事件运算

• 和（并）事件 $A \cup B = A + B$
• 差事件 $A - B = A\overline{B} = A - AB$
• 积事件 $A \cap B = AB$

2. 全概率公式、贝叶斯公式

2.1 条件概率

$$P(P \mid A) = \frac{P(AB)}{P(A)},\ P(AB) = P(B \mid A)P(A) = P(A \mid B)P(B)$$

2.2 全概率公式

$$P(A) = \sum_{i=1}^nP(B_i)P(A \mid B_i)$$

2.3 贝叶斯公式

$$P(B_i \mid A) = \frac{P(B_i)P(A \mid B_i)}{P(A)}$$

3. 一维随机变量

分布函数

$$F(x) = P(X \le x)$$

离散型随机变量的分布函数 $F(x)$ 有两个性质

1. $F(x) \in [0,\ 1]$，且 $F(-\infty) = 0,\ F(+\infty) = 1$
2. $F(x)$ 是右连续的，$\displaystyle\lim_{x\rightarrow x_0^+} F(x) = F(x_0)$

连续型随机变量的分布函数 $F(x)$ 也有以下性质

1. $\displaystyle\int_{-\infty}^{+\infty}f(x)\mathrm{d}x = 1$
2. $F(x) = P\{X \le x\} = \displaystyle\int_{-\infty}^xf(x)\mathrm{d}x$
3. $P\{a \le X \le b\} = F(b) - F(a) = \displaystyle\int_a^bf(x)\mathrm{d}x$
4. $F'(x) = f(x)$

4. 重要的分布

几种重要的分布

• 离散型
  • 二项分布
  • 0-1 分布（伯努利分布）
  • 泊松分布
• 连续型
  • 均匀分布
  • 指数分布
  • 正态分布（高斯分布）

4.1 二项分布

表示为 $X \sim b(n,\ p)$ 或者 $X \sim B(n,\ p)$

分布律为

$$P\{X = k\} = \mathrm{C}_n^k p^k (1-p)^{n-k}$$

提示

组合 $\mathrm{C}_n^k$ 在一些书中也写为 $\dbinom{k}{n}$。

4.2 0-1 分布

就是 $n=1$ 时的二项分布

$$\mathrm{Pr}\{X=1\} = p,\ \mathrm{Pr}\{X=0\} = 1-p$$

4.3 泊松分布

表示为 $X \sim \pi(\lambda)$ 或 $X \sim P(\lambda)$

分布律为

$$P\{X = k\} = \frac{\lambda^k}{k!} \mathrm{e}^{-\lambda}\ (k = 0,\ 1,\ 2,\ \cdots)$$

4.4 均匀分布

表示为 $X \sim U(a,\ b)$

概率密度函数为

$$f(x) = \begin{cases} \dfrac{1}{b-a}, & a < x < b \\ 0, & \text{otherwise} \end{cases}$$

4.5 指数分布

表示为 $X \sim E(\lambda)$

概率密度函数为

$$f(x) = \begin{cases} \lambda \mathrm{e}^{-\lambda x}, & x > 0 \\ 0, & \text{otherwise} \end{cases}$$

4.6 正态分布

表示为 $X \sim N(\mu,\ \sigma^2)$

概率密度函数为

$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp \left( - \frac{(x- \mu)^2}{2\sigma^2} \right)$$

其中 $\exp(x) = \mathrm{e}^x$

当 $\mu = 0,\ \sigma = 1$ 时，叫做标准正态分布。

若 $X \sim N(0, 1)$，那么

$$f(x) = \frac{1}{\sqrt{2\pi}}\exp \left(- \frac{x^2}{2}\right)$$

性质

$$\begin{aligned} \mu &= 0,\ \Phi(0) = \frac{1}{2} \\ \Phi(x) &= P\{x\le X\} = \int_{-\infty}^xf(x)\mathrm{d}x \\ \Phi(-x) &= 1 - \Phi(x) \end{aligned}$$

如果 $X \sim N(\mu,\ \sigma^2)$，那么

$$\begin{aligned} \frac{X-\mu}{\sigma} &\sim N(0,\ 1) \\ P\{X < a\} &= \Phi\left(\frac{a - \mu}{\sigma}\right) \\ P\{a < X < b\} &= \Phi\left(\frac{b-\mu}{\sigma}\right)- \Phi\left(\frac{a-\mu}{\sigma}\right) \end{aligned}$$

5. 离散型二维随机变量

独立条件为

$$P\{X = x_i,\ Y = y_i\} = P\{X = x_i\}P\{Y = y_i\}$$

总是成立。