概率论与数理统计学习指南¶
概率论和数理统计作为所有数学公共课程里面应用的含量最高、最结合实际的一门课程,其学习路径和微积分、线代、复变等相对纯粹的数学课程既有相通之处,也有其自己的特点。下面我将分几个方面来介绍一下概统学习中的一些要点和学习路径。
概念¶
首先,无论是概率论还是统计,在整个理论的构建过程中都会遇到很多的概念。与微积分、线代不同的是,至少在初等的层面上,这些概念往往都拥有很强的实际背景 ,而这些概念往往是对实际问题的数学抽象,例如事件空间、随机变量等等,其实都拥有其自己的实际意义,一开始可能会对这样的定义一头雾水,这里建议用一些比较简单的概率问题,比如掷骰子、抛硬币等问题,来对这些概念和具体的对象进行一一对应,以此来加深对这些概念的理解。这里值得一提的是,在学习这一部分时,可以进行适当的升级,比如我知道很多老师会讲一些高等概率论的内容,比如说概率公理、\(\sigma\)-域、概率测度、随机变量在测度意义下的定义等等,因为在不引入概率测度$ P: \mathcal{F}\to \mathbb{R}_{\cup {0}}^{+}$ 的情况下一些东西很难说的清楚,可能多学一点会多花些时间,但对一些似是而非的概念和问题会理解的更透彻,所以不妨花些功夫。经过了概率空间 \((\Omega,\mathcal{F},P)\) 、随机变量、分布函数这些概念的明确之后,我们便可以对所有的随机事件进行一个非常标准化的数学刻画,至于其重要性我会在后面指出。在理解概念时尽可能多找一些例子,包括离散的、连续的等等。
完成这样一个数学化之后,后面的概念相对就比较自然,比如说概率密度函数,随机向量的分量变换,一些特征(期望、方差、协方差)等等,基本上都是一些套公式的东西。条件概率的概念相对而言是最绕的,也是处理起来最容易似是而非的。对于这个问题,一方面是明确好每个部分的概念,可以选取一些比较刁钻的问题(比如三门问题、两孩问题等等)来理解每个模型中的条件是什么、事件空间是什么,并且尝试运用条件概率的一些公式进行处理,这里也可以结合着 Bayes 公式进行学习,来体会“已知某事件发生求某事件概率”和“已知某事件发生求这个事件是因为什么事件发生”两件事情的联系。
大数定律和中心极限定律是概率论中最深刻的两个定理,同样的,由于其涉及到函数列的收敛问题,所以一般情况下讲解的深度也很有限。在理解时可以使用一些直观的感受和例子来加深印象,如果实在一头雾水,通过习题来掌握对这两个概念的应用也是没有什么问题的。数学功底较好的同学可以阅读函数列依测度收敛、弱收敛等内容,来进行更严格化的理解。
统计的概念则更与实际结合,在学习统计的时候,同学们首先需要搞明白的是概率论和统计在研究问题上的区别。比如,很多同学在初学统计的时候就不理解为什么样本密度函数会是一个 \(n\) 维的多元函数,其原因就是没有搞明白统计的处理对象是数据,而我们的目标是用已知的数据和关于数据源的一些“信息”来对分布的参数、数据的可靠性等内容进行推断,所以自然会建立以数据为样本空间的概率空间。对于统计的一些概念往往具有很强的直观意义,例如在数据降维中,统计量、充分统计量、最小充分统计量等概念其实都是基于参数意义下保存数据信息的一些处理;在假设检验、区间估计等问题中,处理的方法也往往是和直观相符的。
计算和处理¶
很多同学在学习概统的时候遇到的最大问题其实不是不懂这个东西是个啥,不懂这个题怎么用数学语言描述,而是不知道怎么处理式子。因此对于式子的恒等变形、不等式放缩、级数的计算,以及微分、积分等数学变换也是概统学习中非常重要的一部分。
首先,微积分的学习水平对概统的学习体验的确有很大的影响(手动狗头),但如果微积分学的不牢固也不必慌张,对微分积分的概念有一定的了解、并且具有相对熟练的多元重积分的计算水平基本能够handle大部分题目。当然,如果水平欠缺也不必专门去做微积分的题目,多练一下概率论里面偏计算的题目,比如求期望方差,多元分布的变量替换,分布函数和密度函数的转换等问题,或者说把那几个常见分布的一大坨性质都自己手写一遍,基本上水平就恢复的差不多了。有些计算比如连续分布的条件期望或者次序统计量的计算其实本身证明过程就存在缺陷,有时候确实直观上很难说服自己,实在理解不了硬记下来也无妨。
除此之外还有一些让同学们比较抓狂的恒等变形,比如说对于一些离散的问题经常会写成一个级数的形式,然后前面还会有一些系数或者组合数之类的,处理起来也比较烦人。这里面会有一些比较通用的技巧,比如说组合数的递推公式,比如说算两次之后用另一条计算顺序去做难度会小很多,比如说有些用pdf计算很难的问题转换成cdf就会好做很多(因为cdf有其固定的概率上的意义),比如说有时候直接算很麻烦的时候就用递推数列(比如很多markov过程),比如把随机变量拆成一步步条件意义下的随机变量等等......
相对而言统计上的计算和处理相对简单一些,但是对于统计量的一些计算,比如说 \(n\) 阶矩的变形,bias-variance公式等等还是有一些技巧在里面的,一开始推导的时候不熟练很正常,不要着急,也不要偷懒,教材上的一些推导自己多写两遍,一般情况下只要自己理解了不需要硬记也能够掌握的不错。
知识和例子¶
概统里面的例子数量和重要程度远远大于其他数学课程,即使是微积分里面的各种积分和数列更多的也都是一些具体的个例,但概统里面的例子则往往就是研究的重点对象。例如最简单的,各种具体的分布本身就是一个个重要的例子,在理解时既要注重其各种性质的推导过程,又要了解其实际意义。比如 Gamma 分布在不同情况下的特例分布,以及其先验后验分布的一些因果关系(如Beta分布和多项分布)等等。此外,老师在讲课过程中会引入很多具体的问题,比如一些排列组合的问题(可辨不可辨,有限无限等等),一些比较刁钻的问题(比如前面提到的三门问题和两孩问题,还有一些比如停时问题、收集问题等具有特定解法的问题等等),这些问题不仅仅作为例题和习题存在,其问题本身就是非常重要的知识点,同学们在学习时要着重理解。