参考图书：

概率空间的概念

·随机现象与随机试验

随机现象：

单次试验结果不确定；大量重复试验结果具有统计规律性

例如：抛硬币

·样本空间

随机试验的一个结果称为一个样本点，记为S_k，而将随机试验所有可能的结果称为随机试验的样本空间，记为S={s_k}

·随机事件

一些样本点的集合称为随机事件A，是样本空间的一个子集。

单个样本点组成的事件，称为基本事件。

如果某一事件在每次试验时必然发生，则称其为必然事件。

如果某一事件在每次试验时都不会发生，则称其为不可能事件。

·事件的关系：

若AàB，则A⊂B

若A⊂B同时B⊂A，则称A=B

若事件A和事件B至少一个发生，则该事件称为A与B的并（和），记为A∪B

若事件A和事件B同时发生，则该事件称为A与B的交（积），记为A∩B

若事件A发生而事件B不发生，则称该事件为事件的差，记为A-B

若事件A和事件B不能同时发生，则称事件A和事件B互不相容，记为A∩B=Φ 

若事件A是一个事件，则称事件A-为事件A的对立事件（逆事件）

A∩A-=Φ A∪A-=S

·事件的概率：

概率的古典定义:对于古典试验中的事件A，它的概率定义为：P(A)=m/n,其中n表示该试验中所有可能出现的基本结果的总数目。m表示事件A包含的试验基本结果数。

注：如果一个试验满足两条：

（1）试验只有有限个基本结果；

（2）试验的每个基本结果出现的可能性是一样的。

这样的试验便是古典试验。

概率的统计定义:在一定条件下，重复做n次试验，nA为n次试验中事件A发生的次数，如果随着n逐渐增大，频率nA/n逐渐稳定在某一数值p附近，则数值p称为事件A在该条件下发生的概率，记做P(A)=p。

概率的统计定义:设E是随机试验，S是它的样本空间。对于E的每一事件A赋与一个实数，记为P(A)，称为事件A的概率。这里P(A)是一个集合函数，P(A)要满足下列条件：

（1）非负性：

        对于每一个事件A，有P(A)≥0;

（2）规范性（归一性）：

        对于样本空间（必然事件）S，有P(S)=1;

（3）可列可加性：

        设A1，A2……是两两互不相容的事件，即对于i≠j，Ai∩Aj=φ，（i,j=1,2……），则有P(A1∪A2∪……)=P(A1)+P(A2)+……

·概率的运算：

若A1，A2…Ak是两两互不相容的事件，则有P(A1∪A2∪…Ak)=P(A1)+P(A2)+…P(Ak)

设A和B是两个随机事件，且A⊂B，则有P(A-B)=P(B)-P(A)

对任意事件A有P(A-)=1-P(A)

对任意事件A和B有P(A∪B)=P(A)+P(B)-P(A∩B)

·概率空间

样本空间S、事件集合F，以及概率P组成的三元组(S, F, P )称为概率空间。

概率空间的运算

·条件概率公式和乘法公式（链式法则）

条件概率的定义：设(S,F,P)是一个概率空间，A∈F，B∈F，且P(B)>0，则有：P(A|B)=P(A∩B)/P(B)=P_B(A)。称其为在B发生条件下，事件A发生的概率。

乘法定理：设P(A)>0，则P(AB)=P(B|A)P(A)

该公式可以推广为链式法则：对任意正整数n>1，当P(A1A2…An-1An)>0时，有：P(A1A2…An-1An)=P(A1)P(A2|A1)P(A3|A1A2)…P(An| A1A2…An-1)

·全概率公式

设试验的样本空间为S，A1，A2…An为S的一个分割，即A1，A2…An两两不相容，且它们的和为S。当P(Ai)>0,i=1,2,…,n，且B∈F时，有B=∪_i=1,2,…,n (Ai∩B)。由概率的完全可加性，有P(B)=Σ_i=1,2,…,n P(Ai∩B)。

该公式的意义在于：从已知的简单事件的概率推算出未知的复杂事件的概率。

·贝叶斯公式

设事件B能且仅能与两两不相容的A1，A2…An事件之一同时发生，即B=∪_i=1,2,…,n (Ai∩B)，由条件概率公式有P(AiB)=P(B|Ai)P(Ai)=P(Ai|B)P(B)，再利用全概率公式，有P(Ai|B)= P(AiB)/P(B)= P(Ai|B)P(B)/Σ_i=1,2,…,n P(Ai∩B)。

该公式的意义在于：根据实际的结果推断导致该结果的原因，如同医生诊断病人的病情。

·统计独立性：

设A，B为随机试验的两个事件，若P(A)>0，可以定义P(B|A)，一般情况下P(B|A)≠P(B)，即A的发生对于B的发生的概率有影响。只有当P(B|A)=P(B)时，才可以认为这种影响不存在。此时，由条件概率定义可以导出：P(AB)=P(A)P(B|A)=P(A)P(B)。这就是说，其中一个事件的发生并未提供另一个事件发生概率的信息，这样两个事件就称为统计独立的。

该式可以推广到n个相互独立的事件的情况。例如，三个事件A，B，C相互独立，有：

P(AB)=P(A)P(B)

P(BC)=P(B)P(C)

P(AC)=P(A)P(C)

P(ABC)=P(A)P(B)P(C)

推论：S与任意事件独立，Φ也与任意事件独立。

随机变量及分布表示

·随机变量的引入

A∈F，是集合函数，数学分析不能直接适用。为了利用现有的诸多数学成果，引入随机变量。       具体来说，在实际问题中，随机试验*的结果可以用数量来表示，由此就产生了随机变量的概念。

这种对应关系在数学上理解为定义了一种由概率空间S向实数空间R映射的单值实函数。

随机变量通常用大写字母X,Y,Z,W,N 等表示，而表示随机变量所取的值时,一般采用小写字母 x, y, z, w, n等。

·随机变量的分类：

离散和连续。离散型随机变量有限或可列无穷多个值，如“取到次品的个数”，“收到的呼叫数”等。连续型随机变量取值于某一区间内任一值，例如，“电视机的寿命”，实际中常遇到的“测量误差”等。

·随机变量分布特性的表示

离散型随机变量：分布律P(X=x_i)（也叫概率质量函数（probability mass function，PMF）），可以用公式法或列表表示。分布函数F(x)=P(X<=x)=Σ_iP(X=x_i)。

连续型随机变量：概率密度函数（probability density function，PDF），用公式f(x)表示。分布函数：F(x)= P(X<=x)=∫^x_-∞f(t)dt。

如果引入阶跃函数U(·)和冲击函数δ(·)，则离散型随机变量的分布律、分布函数表达可以表示为连续性随机变量的概率密度函数、分布函数相同形式。

分布函数的性质：

F(-∞)=0;F(∞)=1;单调非降；右连续。

·二维随机变量的分布函数

设(X,Y)是二维随机变量，如果对于任意实数x,y，二元函数F(x,y)=P{(X<=x)(Y<=y)}=P(X<=x,Y<=y)称为二维随机变量(X,Y)的分布函数，或者称为随机变量X和Y的联合分布函数。

如果二维随机变量(X,Y) 全部可能取到的不相同的值是有限对或可列无限多对, 则称(X,Y)是离散型随机变量。设二维离散型随机变量(X,Y)可能取的值是(xi,yj),i,j=1,2,…,记P(X=xi,Y=yj)=pij, i,j=1,2,…,称之为二维离散型随机变量 (X,Y)的分布律, 或随机变量X和Y 的联合分布律. 

对于二维随机变量(X,Y) 的分布函数如果存在非负的函数使对于任意x,y有F(x,y)=∫^y_-∞∫^x_-∞f(u,v)dudv，则称(X,Y)是连续型的随机变量，函数f(x,y)称为二维随机变量(X,Y)的概率密度，或称为随机变量X和Y的联合概率密度。

·边缘分布函数

二维随机变量 (X,Y)作为一个整体, 具有分布函数F(x,y)，而X和Y都是随机变量，也有各自的分布函数，分别记为FX(x),FY(y)，依次称为二维随机变量(X,Y)关于X和Y的边缘分布函数。

FX(x)=P{X<=x}=P{X<=x,Y<=∞}=F(x,∞)

FY(y)=P{Y<=y}=P{X<=∞,Y<y}=F(∞,y)

对离散型随机变量(X,Y)，X和Y的联合分布律为pij，则 (X,Y) 关于X 的边缘分布律为P{X=xi}=Σ_jP(X=xi,Y=Yj)=Σ_jpij=p_i·。P{Y=yj}=Σ_iP(X=xi,Y=Yj)=Σ_ipij=p_·j。

对连续型随机变量(X,Y)，X和Y的联合概率密度为f(x,y)，则(X,Y)关于X的边缘概率密度为fX(x)= ∫f(x,y)dy，fY(y)= ∫f(x,y)dx。

·随机变量的条件分布

离散情况：设 ( X,Y ) 是二维离散型随机变量，对于固定的 j，若 P{Y = yj } > 0，则称P{X=xi|Y=yj}=P{X=xi,Y=yj}/P{Y=yj}为在条件Y=yj下随机变量X的条件分布律。类似地，可以定义在 X= xi 条件下随机变量Y 的条件分布律。

注意：作为条件的那个r.v,认为取值是给定的，在此条件下求另一r.v的概率分布.

连续情况：设 X 和 Y 的联合概率密度为f(x,y)，(X,Y)关于Y的边缘概率密度为fY(y)，若对于固定的y，fY(y)>0，则称f(x,y)/fY(y)为在Y=y的条件下X的条件概率密度。记为fX|Y(x|y)。类似地可以定义fY|X(y|x)=f(x,y)/fX(x)。

条件分布函数：X的条件分布函数为P{X<=x|Y=y}=FX|Y(x|y)= ∫^x_-∞f(t,y)/fY(y)dt。类似地可以定义FY|X(y|x)。

·随机变量相互独立的定义

基本定义：设 X,Y是两个r.v，若对任意的x,y,有P{X<=x,Y<=y}=P(X<=x)P(Y<=y)，则称X和Y相互独立。

用分布函数表示：设 X,Y是两个r.v，若对任意的x,y,有F(x,y)=FX(x)FY(y)，则称 X 和 Y 相互独立。它表明，两个r.v相互独立时，它们的联合分布函数等于两个边缘分布函数的乘积 .

用分布律表示：若 (X,Y)是离散型 r.v ，则上述独立性的定义等价于：P{X=xi,Y=yj}=P(X=xi)P(Y=yj)，则称X和Y相互独立。

用概率密度函数表示：若 (X,Y)是连续型r.v ，则上述独立性的定义等价于：对任意的 x, y,  有f(x,y)=fX(x)fY(y)几乎处处成立，则称X和Y相互独立。其中f(x,y)是X和Y的联合密度，fX(x)和fY(y)分别是X的边缘概率密度和Y的边缘概率密度。

·n维随机变量的分布函数和概率密度函数

n维随机变量X1,X2,…,Xn的分布函数F(x1,x2,…,xn)=P{X1<=x1,X2<=x2,…,Xn<=xn}

若F(x1,x2,…,xn)对x1,x2,…,xn的n阶混合偏导数存在，则该偏导数为n维随机变量的概率密度函数f(x1,x2,…,xn)。