023 《概率论：全面深度解析 (Probability Theory: A Comprehensive and In-depth Analysis)》
🌟🌟🌟本文案由Gemini 2.0 Flash Thinking Experimental 01-21创作，用来辅助学习知识。🌟🌟🌟
书籍大纲
▮▮▮▮ 1. chapter 1：概率论导论 (Introduction to Probability Theory)
▮▮▮▮▮▮▮ 1.1 概率论的历史与应用 (History and Applications of Probability Theory)
▮▮▮▮▮▮▮ 1.2 概率论的基本概念 (Basic Concepts of Probability Theory)
▮▮▮▮▮▮▮ 1.3 样本空间与事件 (Sample Space and Events)
▮▮▮▮▮▮▮ 1.4 概率的定义与公理 (Definition and Axioms of Probability)
▮▮▮▮▮▮▮▮▮▮▮ 1.4.1 频率学派的观点 (Frequentist Viewpoint)
▮▮▮▮▮▮▮▮▮▮▮ 1.4.2 贝叶斯学派的观点 (Bayesian Viewpoint)
▮▮▮▮▮▮▮▮▮▮▮ 1.4.3 概率的公理化定义 (Axiomatic Definition of Probability)
▮▮▮▮ 2. chapter 2：条件概率与独立性 (Conditional Probability and Independence)
▮▮▮▮▮▮▮ 2.1 条件概率 (Conditional Probability)
▮▮▮▮▮▮▮ 2.2 全概率公式 (Law of Total Probability)
▮▮▮▮▮▮▮ 2.3 贝叶斯定理 (Bayes' Theorem)
▮▮▮▮▮▮▮ 2.4 事件的独立性 (Independence of Events)
▮▮▮▮▮▮▮ 2.5 伯努利试验与二项分布 (Bernoulli Trials and Binomial Distribution)
▮▮▮▮ 3. chapter 3：随机变量与分布函数 (Random Variables and Distribution Functions)
▮▮▮▮▮▮▮ 3.1 随机变量的概念 (Concept of Random Variables)
▮▮▮▮▮▮▮ 3.2 离散型随机变量 (Discrete Random Variables)
▮▮▮▮▮▮▮ 3.3 连续型随机变量 (Continuous Random Variables)
▮▮▮▮▮▮▮ 3.4 分布函数 (Cumulative Distribution Function, CDF)
▮▮▮▮▮▮▮ 3.5 概率质量函数与概率密度函数 (Probability Mass Function, PMF & Probability Density Function, PDF)
▮▮▮▮ 4. chapter 4：重要的离散分布 (Important Discrete Distributions)
▮▮▮▮▮▮▮ 4.1 伯努利分布 (Bernoulli Distribution)
▮▮▮▮▮▮▮ 4.2 二项分布 (Binomial Distribution)
▮▮▮▮▮▮▮ 4.3 泊松分布 (Poisson Distribution)
▮▮▮▮▮▮▮ 4.4 几何分布 (Geometric Distribution)
▮▮▮▮▮▮▮ 4.5 超几何分布 (Hypergeometric Distribution)
▮▮▮▮ 5. chapter 5：重要的连续分布 (Important Continuous Distributions)
▮▮▮▮▮▮▮ 5.1 均匀分布 (Uniform Distribution)
▮▮▮▮▮▮▮ 5.2 指数分布 (Exponential Distribution)
▮▮▮▮▮▮▮ 5.3 正态分布 (Normal Distribution)
▮▮▮▮▮▮▮▮▮▮▮ 5.3.1 标准正态分布 (Standard Normal Distribution)
▮▮▮▮▮▮▮▮▮▮▮ 5.3.2 正态分布的性质与应用 (Properties and Applications of Normal Distribution)
▮▮▮▮▮▮▮ 5.4 伽马分布 (Gamma Distribution)
▮▮▮▮▮▮▮ 5.5 贝塔分布 (Beta Distribution)
▮▮▮▮ 6. chapter 6：随机变量的数字特征 (Numerical Characteristics of Random Variables)
▮▮▮▮▮▮▮ 6.1 数学期望 (Expectation)
▮▮▮▮▮▮▮▮▮▮▮ 6.1.1 离散型随机变量的期望 (Expectation of Discrete Random Variables)
▮▮▮▮▮▮▮▮▮▮▮ 6.1.2 连续型随机变量的期望 (Expectation of Continuous Random Variables)
▮▮▮▮▮▮▮ 6.2 方差与标准差 (Variance and Standard Deviation)
▮▮▮▮▮▮▮ 6.3 矩、偏度与峰度 (Moments, Skewness, and Kurtosis)
▮▮▮▮▮▮▮ 6.4 协方差与相关系数 (Covariance and Correlation Coefficient)
▮▮▮▮▮▮▮ 6.5 期望的性质与计算 (Properties and Calculation of Expectation)
▮▮▮▮ 7. chapter 7：多维随机变量及其分布 (Multivariate Random Variables and Their Distributions)
▮▮▮▮▮▮▮ 7.1 联合分布函数 (Joint Distribution Function)
▮▮▮▮▮▮▮ 7.2 边缘分布 (Marginal Distribution)
▮▮▮▮▮▮▮ 7.3 条件分布 (Conditional Distribution)
▮▮▮▮▮▮▮ 7.4 随机变量的独立性 (Independence of Random Variables)
▮▮▮▮▮▮▮ 7.5 多维离散分布 (Multivariate Discrete Distributions)
▮▮▮▮▮▮▮ 7.6 多维连续分布 (Multivariate Continuous Distributions)
▮▮▮▮▮▮▮ 7.7 多元正态分布 (Multivariate Normal Distribution)
▮▮▮▮ 8. chapter 8：随机变量的函数及其分布 (Functions of Random Variables and Their Distributions)
▮▮▮▮▮▮▮ 8.1 单变量随机变量的函数 (Functions of Single Random Variables)
▮▮▮▮▮▮▮ 8.2 多变量随机变量的函数 (Functions of Multiple Random Variables)
▮▮▮▮▮▮▮ 8.3 卷积公式 (Convolution Formula)
▮▮▮▮▮▮▮ 8.4 矩母函数 (Moment Generating Function, MGF)
▮▮▮▮▮▮▮ 8.5 特征函数 (Characteristic Function)
▮▮▮▮ 9. chapter 9：大数定律与中心极限定理 (Laws of Large Numbers and Central Limit Theorem)
▮▮▮▮▮▮▮ 9.1 切比雪夫不等式 (Chebyshev's Inequality)
▮▮▮▮▮▮▮ 9.2 大数定律 (Laws of Large Numbers)
▮▮▮▮▮▮▮▮▮▮▮ 9.2.1 弱大数定律 (Weak Law of Large Numbers, WLLN)
▮▮▮▮▮▮▮▮▮▮▮ 9.2.2 强大数定律 (Strong Law of Large Numbers, SLLN)
▮▮▮▮▮▮▮ 9.3 中心极限定理 (Central Limit Theorem, CLT)
▮▮▮▮▮▮▮ 9.4 中心极限定理的应用 (Applications of Central Limit Theorem)
▮▮▮▮ 10. chapter 10：随机过程初步 (Introduction to Stochastic Processes)
▮▮▮▮▮▮▮ 10.1 随机过程的基本概念 (Basic Concepts of Stochastic Processes)
▮▮▮▮▮▮▮ 10.2 马尔可夫链 (Markov Chains)
▮▮▮▮▮▮▮▮▮▮▮ 10.2.1 状态空间与转移概率 (State Space and Transition Probabilities)
▮▮▮▮▮▮▮▮▮▮▮ 10.2.2 平稳分布 (Stationary Distribution)
▮▮▮▮▮▮▮ 10.3 泊松过程 (Poisson Process)
▮▮▮▮▮▮▮ 10.4 布朗运动 (Brownian Motion)
▮▮▮▮ 11. chapter 11：概率论的应用 (Applications of Probability Theory)
▮▮▮▮▮▮▮ 11.1 金融领域的应用 (Applications in Finance)
▮▮▮▮▮▮▮ 11.2 统计推断中的应用 (Applications in Statistical Inference)
▮▮▮▮▮▮▮ 11.3 计算机科学中的应用 (Applications in Computer Science)
▮▮▮▮▮▮▮ 11.4 工程领域的应用 (Applications in Engineering)
▮▮▮▮▮▮▮ 11.5 生物医学领域的应用 (Applications in Biomedicine)
▮▮▮▮ 12. chapter 12：高级主题与前沿进展 (Advanced Topics and Frontier Developments)
▮▮▮▮▮▮▮ 12.1 鞅论初步 (Introduction to Martingale Theory)
▮▮▮▮▮▮▮ 12.2 随机微积分简介 (Introduction to Stochastic Calculus)
▮▮▮▮▮▮▮ 12.3 大偏差理论 (Large Deviation Theory)
▮▮▮▮▮▮▮ 12.4 随机图论 (Random Graph Theory)
▮▮▮▮▮▮▮ 12.5 概率论的现代研究方向 (Modern Research Directions in Probability Theory)
1. chapter 1：概率论导论 (Introduction to Probability Theory)
1.1 概率论的历史与应用 (History and Applications of Probability Theory)
概率论，作为数学的一个重要分支，研究随机现象的规律性。虽然对偶然事件的思考可以追溯到古代，但概率论作为一门严谨的数学学科，其发展历程相对较短，真正意义上的诞生可以追溯到17世纪。
① 早期萌芽 (Early Stages)：
▮▮▮▮ⓑ 赌博问题：概率论的起源与赌博问题密切相关。17世纪，法国贵族 Chevalier de Méré 向数学家 帕斯卡 (Blaise Pascal) 提出了一个关于掷骰子的概率问题，这促使 帕斯卡 (Pascal) 与 费马 (Pierre de Fermat) 之间展开了通信。他们通过对赌博问题的研究，初步奠定了概率论的基础。这些早期的工作主要集中在计算各种赌博游戏中获胜的概率。
▮▮▮▮ⓒ 古典概率： 帕斯卡 (Pascal) 和 费马 (Fermat) 的工作标志着古典概率的开端。古典概率基于“等可能性”的假设，认为在一次试验中，所有可能出现的基本事件是等可能的。在这种假设下，事件的概率被定义为有利事件数与总事件数的比值。
② 学科发展 (Development of the Discipline)：
▮▮▮▮ⓑ 雅各布·伯努利 (Jacob Bernoulli)： 雅各布·伯努利 (Jacob Bernoulli) 的《推测术》(Ars Conjectandi) 出版于1713年，被认为是概率论发展史上的里程碑。书中系统地阐述了概率论的基本原理，并提出了著名的 伯努利大数定律 (Bernoulli's Law of Large Numbers) 的雏形，为概率论的严格化奠定了基础。
▮▮▮▮ⓒ 棣莫弗 (Abraham de Moivre)： 棣莫弗 (Abraham de Moivre) 在《机遇论》(The Doctrine of Chances) 等著作中，发展了二项分布的理论，并发现了 中心极限定理 (Central Limit Theorem) 的早期形式，进一步推动了概率论的发展。
▮▮▮▮ⓓ 拉普拉斯 (Pierre-Simon Laplace)： 拉普拉斯 (Pierre-Simon Laplace) 的《概率的哲学 ensayo filosófico sobre probabilidades》 (Philosophical Essay on Probabilities) 和《分析概率论》(Théorie Analytique des Probabilités) 是概率论发展史上的重要著作。 拉普拉斯 (Laplace) 系统地总结了前人的工作，并将其应用于天文、物理、社会科学等领域，使概率论成为一门应用广泛的学科。他提出了 概率的古典定义，并强调了概率论在科学研究中的作用。
③ 公理化体系的建立 (Establishment of Axiomatic System)：
▮▮▮▮ⓑ 20世纪初的挑战： 随着概率论应用的扩展，古典概率的局限性日益显现。古典概率依赖于“等可能性”假设，这在许多实际问题中并不成立。例如，在研究产品的合格率、疾病的发生率等问题时，很难找到“等可能性”的基本事件。
▮▮▮▮ⓒ 柯尔莫哥洛夫 (Andrey Kolmogorov)： 20世纪30年代，苏联数学家 柯尔莫哥洛夫 (Andrey Kolmogorov) 建立了概率论的公理化体系。他在《概率论基础》(Foundations of the Theory of Probability) 中，基于 集合论 (Set Theory) 和 测度论 (Measure Theory) ，提出了概率的公理化定义，使得概率论成为一门严谨的数学学科。 柯尔莫哥洛夫 (Kolmogorov) 的公理化体系为概率论的进一步发展奠定了坚实的理论基础。
④ 现代概率论与应用 (Modern Probability Theory and Applications)：
▮▮▮▮ⓑ 随机过程 (Stochastic Processes)： 随着科学技术的发展，人们对随机现象的认识不断深入，概率论的研究对象也从静态的随机事件扩展到动态的 随机过程 (Stochastic Processes) 。随机过程理论研究随时间演化的随机现象，例如，股票价格的波动、排队系统的变化、生物种群的演化等。
▮▮▮▮ⓒ 应用领域的拓展： 概率论的应用已经渗透到自然科学、社会科学、工程技术、经济金融等各个领域。在物理学中，概率论被用于研究统计物理、量子力学等；在生物学中，概率论被用于研究遗传学、流行病学等；在计算机科学中，概率论是 机器学习 (Machine Learning) 、 人工智能 (Artificial Intelligence) 等领域的重要数学工具；在金融领域，概率论被用于 风险管理 (Risk Management) 、 资产定价 (Asset Pricing) 等。
概率论的应用领域非常广泛，以下列举一些重要的应用方向：
⚝ 金融领域 (Finance)： 概率论和 随机过程 (Stochastic Processes) 是金融数学的核心工具。例如， 布朗运动 (Brownian Motion) 被用来模拟股票价格的随机波动； 伊藤积分 (Itô Integral) 和 随机微分方程 (Stochastic Differential Equations) 被用于建立和分析金融模型； 期权定价理论 (Option Pricing Theory) ，如 布莱克-斯科尔斯模型 (Black-Scholes Model) ，是基于概率论的重要应用。 概率论在 风险管理 (Risk Management) 、 投资组合优化 (Portfolio Optimization) 等方面也发挥着关键作用。
⚝ 统计推断 (Statistical Inference)： 概率论是统计推断的理论基础。统计推断利用样本数据来推断总体特征，其有效性依赖于概率论的原理。例如， 假设检验 (Hypothesis Testing) 、 置信区间估计 (Confidence Interval Estimation) 、 回归分析 (Regression Analysis) 等统计方法都离不开概率论的支持。
⚝ 计算机科学 (Computer Science)： 概率论在计算机科学中有着广泛的应用，特别是在 人工智能 (Artificial Intelligence) 和 机器学习 (Machine Learning) 领域。 贝叶斯网络 (Bayesian Networks) 、 隐马尔可夫模型 (Hidden Markov Models) 、 蒙特卡洛方法 (Monte Carlo Methods) 等都是基于概率论的重要技术。 概率论也被用于 算法设计与分析 (Algorithm Design and Analysis) 、 网络安全 (Network Security) 、 信息论 (Information Theory) 等方面。
⚝ 工程领域 (Engineering)： 概率论在工程领域，尤其是在 可靠性工程 (Reliability Engineering) 、 质量控制 (Quality Control) 、 信号处理 (Signal Processing) 、 通信工程 (Communication Engineering) 等方面有着重要的应用。 例如，在可靠性工程中，概率论被用于评估系统的可靠性、预测故障率；在信号处理中，概率论被用于分析随机信号、设计滤波器；在通信工程中，概率论被用于研究信道特性、优化通信系统。
⚝ 生物医学 (Biomedicine)： 概率论在生物医学领域，如 流行病学 (Epidemiology) 、 生物统计学 (Biostatistics) 、 遗传学 (Genetics) 等方面发挥着重要作用。 例如，在流行病学中，概率论被用于建立疾病传播模型、预测疫情发展趋势；在生物统计学中，概率论被用于分析生物医学数据、评估药物疗效；在遗传学中，概率论被用于研究基因突变、遗传规律。
⚝ 物理学 (Physics)： 概率论在物理学中，特别是在 统计物理 (Statistical Physics) 和 量子力学 (Quantum Mechanics) 中扮演着核心角色。 在统计物理中，概率论被用于描述大量粒子组成的系统的宏观性质，如 玻尔兹曼分布 (Boltzmann Distribution) 、 吉布斯分布 (Gibbs Distribution) 等都是概率论的重要应用。 在量子力学中，概率幅的概念是描述微观粒子行为的基础。
总而言之，概率论不仅是一门重要的数学学科，也是理解和解决现实世界中随机现象的强大工具。随着科学技术的不断发展，概率论的应用领域还将继续拓展，其重要性也将日益凸显。
1.2 概率论的基本概念 (Basic Concepts of Probability Theory)
概率论是研究随机现象规律的数学学科。要深入理解概率论，首先需要掌握一些基本概念。本节将介绍概率论中最核心、最基础的概念，为后续章节的学习打下坚实的基础。
① 随机现象 (Random Phenomenon)：
▮▮▮▮ⓑ 定义： 随机现象是指在一定条件下，结果预先无法确定的现象。 尽管每次观察的结果可能不同，但在大量重复观察下，其结果呈现出一定的统计规律性。
▮▮▮▮ⓒ 特点：
▮▮▮▮▮▮▮▮❹ 偶然性 (Randomness)： 在单次观察中，结果是不确定的，多种结果都有可能发生。
▮▮▮▮▮▮▮▮❺ 规律性 (Regularity)： 在大量重复观察中，结果的分布呈现出一定的统计规律性。这种规律性是概率论研究的核心。
▮▮▮▮ⓕ 例子：
⚝ 抛掷硬币： 结果可能是正面朝上，也可能是反面朝上，单次结果不确定，但多次抛掷后，正面和反面出现的频率趋于稳定。
⚝ 掷骰子： 结果可能是 1, 2, 3, 4, 5, 6 点中的任意一个，单次结果不确定，但多次投掷后，各点数出现的频率趋于相等。
⚝ 股票价格波动： 股票价格的涨跌受到多种因素的影响，短期波动难以预测，但长期来看，股票价格的走势具有一定的统计规律性。
⚝ 产品寿命： 同一批次生产的产品，其寿命长短不一，但产品的平均寿命和寿命分布具有一定的规律性。
② 随机试验 (Random Experiment)：
▮▮▮▮ⓑ 定义： 随机试验是对随机现象的一次观察或操作。 随机试验需要满足以下三个条件：
▮▮▮▮▮▮▮▮❸ 可以在相同的条件下重复进行 (Repeatable)： 试验可以在相同的条件下重复进行多次。
▮▮▮▮▮▮▮▮❹ 每次试验的结果不止一个 (Multiple Outcomes)： 每次试验可能出现多种不同的结果。
▮▮▮▮▮▮▮▮❺ 事先无法确定会出现哪个结果 (Unpredictable Outcome)： 在试验之前，无法准确预测会出现哪一个结果。
▮▮▮▮ⓕ 例子：
⚝ 抛掷硬币一次。
⚝ 掷骰子一次。
⚝ 记录某地一天内的最高气温。
⚝ 测量某产品的寿命。
⚝ 调查某城市居民的收入水平。
③ 基本事件 (Elementary Event)：
▮▮▮▮ⓑ 定义： 基本事件是指随机试验中可能出现的 最基本的结果，即不能再分解的结果。 每次试验必然发生且仅发生一个基本事件。
▮▮▮▮ⓒ 特点：
▮▮▮▮▮▮▮▮❹ 互斥性 (Mutually Exclusive)： 在一次试验中，任何两个基本事件不能同时发生。
▮▮▮▮▮▮▮▮❺ 完备性 (Collectively Exhaustive)： 所有基本事件的全体构成了试验的所有可能结果。
▮▮▮▮ⓕ 例子：
⚝ 抛掷硬币一次： 基本事件为 {正面朝上} 和 {反面朝上}。
⚝ 掷骰子一次： 基本事件为 {出现 1 点}, {出现 2 点}, {出现 3 点}, {出现 4 点}, {出现 5 点}, {出现 6 点}。
⚝ 记录某地一天内的最高气温（精确到 0.1 摄氏度）： 基本事件为 “最高气温为 x.x 摄氏度”，其中 x.x 可以取一定范围内的数值。
④ 样本空间 (Sample Space)：
▮▮▮▮ⓑ 定义： 样本空间是随机试验所有可能的基本事件的集合，通常用 \( \Omega \) 或 \( S \) 表示。 样本空间包含了试验的所有可能结果。
▮▮▮▮ⓒ 表示方法：
▮▮▮▮▮▮▮▮❹ 列举法 (Listing Method)： 当样本空间包含的基本事件数量有限且较少时，可以列举出所有基本事件。 例如，抛掷硬币一次的样本空间为 \( \Omega = \{正面, 反面\} \)。
▮▮▮▮▮▮▮▮❺ 描述法 (Descriptive Method)： 当样本空间包含的基本事件数量较多或无限时，可以使用描述性语言来表示样本空间。 例如，记录某地一天内的最高气温的样本空间可以表示为 \( \Omega = \{x \mid x \in [T_{min}, T_{max}]\} \)，其中 \( T_{min} \) 和 \( T_{max} \) 分别为该地区可能出现的最低和最高气温。
▮▮▮▮ⓕ 例子：
⚝ 抛掷硬币两次： 样本空间为 \( \Omega = \{(正面, 正面), (正面, 反面), (反面, 正面), (反面, 反面)\} \)。
⚝ 掷骰子两次，记录点数之和： 样本空间为 \( \Omega = \{2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12\} \)。
⚝ 测量灯泡的寿命： 样本空间为 \( \Omega = \{t \mid t \ge 0\} \)，表示寿命可以是任意非负实数。
⑤ 事件 (Event)：
▮▮▮▮ⓑ 定义： 事件是样本空间 \( \Omega \) 的子集。 事件由一个或多个基本事件组成，表示试验结果的某种集合。 当事件包含的基本事件发生时，称该事件发生。
▮▮▮▮ⓒ 分类：
▮▮▮▮▮▮▮▮❹ 必然事件 (Certain Event)： 必然事件是指在每次试验中 必然发生 的事件。 必然事件就是样本空间 \( \Omega \) 本身。
▮▮▮▮▮▮▮▮❺ 不可能事件 (Impossible Event)： 不可能事件是指在每次试验中 不可能发生 的事件。 不可能事件是空集 \( \emptyset \)。
▮▮▮▮▮▮▮▮❻ 随机事件 (Random Event)： 随机事件是指在每次试验中 可能发生，也可能不发生 的事件。 随机事件是样本空间 \( \Omega \) 的真子集。
▮▮▮▮ⓖ 事件的关系与运算： 事件之间可以进行集合运算，例如 并 (Union) 、 交 (Intersection) 、 差 (Difference) 、 补 (Complement) 等。
⚝ 事件的并 (Union of Events)： 事件 \( A \cup B \) 表示事件 \( A \) 或事件 \( B \) 至少有一个发生。
⚝ 事件的交 (Intersection of Events)： 事件 \( A \cap B \) 或 \( AB \) 表示事件 \( A \) 和事件 \( B \) 同时发生。
⚝ 事件的差 (Difference of Events)： 事件 \( A \setminus B \) 或 \( A - B \) 表示事件 \( A \) 发生但事件 \( B \) 不发生。
⚝ 事件的补 (Complement of Event)： 事件 \( A^c \) 或 \( \bar{A} \) 或 \( A' \) 表示事件 \( A \) 不发生。
理解这些基本概念是学习概率论的关键。随机现象、随机试验、基本事件、样本空间和事件构成了概率论的基本框架。在后续章节中，我们将基于这些概念，进一步学习概率的定义、计算和应用。
1.3 样本空间与事件 (Sample Space and Events)
样本空间和事件是概率论中两个至关重要的概念，它们为我们描述和分析随机现象提供了数学语言。本节将深入探讨样本空间和事件的性质、类型以及它们之间的关系。
① 样本空间的类型 (Types of Sample Space)：
▮▮▮▮ⓑ 离散样本空间 (Discrete Sample Space)： 离散样本空间是指样本空间中的基本事件是 可数 的，即可以一个一个地数出来，可以是有限的，也可以是无限可数的。
▮▮▮▮▮▮▮▮❸ 有限样本空间 (Finite Sample Space)： 包含有限个基本事件的样本空间。 例如，掷骰子一次的样本空间 \( \Omega = \{1, 2, 3, 4, 5, 6\} \) 是有限样本空间。
▮▮▮▮▮▮▮▮❹ 无限可数样本空间 (Countably Infinite Sample Space)： 包含无限个基本事件，但这些基本事件可以与自然数集建立一一对应关系的样本空间。 例如，重复抛掷硬币，直到出现正面为止，记录抛掷次数的样本空间 \( \Omega = \{1, 2, 3, \ldots\} \) 是无限可数样本空间。
▮▮▮▮ⓔ 连续样本空间 (Continuous Sample Space)： 连续样本空间是指样本空间中的基本事件是 不可数 的，即无法一个一个地数出来，通常对应于某个连续的区间或区域。
▮▮▮▮▮▮▮▮❻ 区间型样本空间 (Interval Sample Space)： 样本空间是实数轴上的一个区间。 例如，测量某人的身高，样本空间可以是 \( \Omega = [0, 3] \) (单位：米，假设身高在 0 到 3 米之间)。
▮▮▮▮▮▮▮▮❼ 区域型样本空间 (Region Sample Space)： 样本空间是二维或多维空间中的一个区域。 例如，在平面上随机投掷一个点，样本空间可以是某个正方形区域 \( \Omega = \{(x, y) \mid 0 \le x \le 1, 0 \le y \le 1\} \)。
② 事件的运算 (Operations of Events)：
事件作为样本空间的子集，可以进行集合运算。这些运算在概率论中具有重要的意义，可以帮助我们分析复杂事件的概率。
▮▮▮▮ⓐ 并事件 (Union of Events) \( A \cup B \)： 表示事件 \( A \) 或事件 \( B \) 至少有一个发生。
▮▮▮▮ⓑ 交事件 (Intersection of Events) \( A \cap B \) 或 \( AB \)： 表示事件 \( A \) 和事件 \( B \) 同时发生。
▮▮▮▮ⓒ 差事件 (Difference of Events) \( A \setminus B \) 或 \( A - B \)： 表示事件 \( A \) 发生但事件 \( B \) 不发生。 可以表示为 \( A \cap B^c \)。
▮▮▮▮ⓓ 补事件 (Complement of Event) \( A^c \) 或 \( \bar{A} \) 或 \( A' \) ： 表示事件 \( A \) 不发生。 补事件是相对于样本空间而言的，\( A^c = \Omega \setminus A \)。
③ 事件的关系 (Relations of Events)：
▮▮▮▮ⓑ 包含关系 (Inclusion) \( A \subseteq B \)： 表示事件 \( A \) 发生必然导致事件 \( B \) 发生。 即事件 \( A \) 是事件 \( B \) 的子集。
▮▮▮▮ⓒ 相等关系 (Equality) \( A = B \)： 表示事件 \( A \) 和事件 \( B \) 包含相同的基本事件，即 \( A \subseteq B \) 且 \( B \subseteq A \)。
▮▮▮▮ⓓ 互斥事件 (Mutually Exclusive Events) 或 不相容事件 (Disjoint Events)： 如果 \( A \cap B = \emptyset \)，则称事件 \( A \) 和事件 \( B \) 是互斥的，表示事件 \( A \) 和事件 \( B \) 不可能同时发生。
▮▮▮▮ⓔ 完备事件组 (Partition of Sample Space) 或 完备事件系 (Complete System of Events)： 若事件组 \( \{A_1, A_2, \ldots, A_n\} \) 满足：
▮▮▮▮▮▮▮▮❻ \( A_i A_j = \emptyset \) (当 \( i \ne j \) 时)，即事件两两互斥。
▮▮▮▮▮▮▮▮❼ \( \bigcup_{i=1}^{n} A_i = \Omega \)，即事件的并集为样本空间。
则称 \( \{A_1, A_2, \ldots, A_n\} \) 为一个完备事件组。 完备事件组将样本空间划分为若干个互不相交且并集为全集的子集。
④ 事件运算的性质 (Properties of Event Operations)：
事件的运算满足集合运算的基本规律，例如：
▮▮▮▮ⓐ 交换律 (Commutative Laws)：
▮▮▮▮▮▮▮▮❷ \( A \cup B = B \cup A \)
▮▮▮▮▮▮▮▮❸ \( A \cap B = B \cap A \)
▮▮▮▮ⓓ 结合律 (Associative Laws)：
▮▮▮▮▮▮▮▮❺ \( (A \cup B) \cup C = A \cup (B \cup C) \)
▮▮▮▮▮▮▮▮❻ \( (A \cap B) \cap C = A \cap (B \cap C) \)
▮▮▮▮ⓖ 分配律 (Distributive Laws)：
▮▮▮▮▮▮▮▮❽ \( A \cup (B \cap C) = (A \cup B) \cap (A \cup C) \)
▮▮▮▮▮▮▮▮❾ \( A \cap (B \cup C) = (A \cap B) \cup (A \cap C) \)
▮▮▮▮ⓙ 德摩根定律 (De Morgan's Laws)：
▮▮▮▮▮▮▮▮❶ \( (A \cup B)^c = A^c \cap B^c \)
▮▮▮▮▮▮▮▮❷ \( (A \cap B)^c = A^c \cup B^c \)
理解样本空间和事件的类型、运算和关系，以及掌握事件运算的性质，是进行概率计算和分析的基础。在实际应用中，我们需要根据具体的随机试验，合理地构建样本空间，定义感兴趣的事件，并运用事件的运算和性质来解决问题。
1.4 概率的定义与公理 (Definition and Axioms of Probability)
概率是描述随机事件发生可能性大小的数值。如何科学地定义和计算概率，是概率论的核心问题。本节将介绍概率的几种主要定义方式，以及现代概率论的公理化体系。
1.4.1 频率学派的观点 (Frequentist Viewpoint)
频率学派从 事件发生的频率 出发来定义概率。 频率学派认为，对于可以重复进行的随机试验，事件 \( A \) 发生的概率可以通过 大量重复试验中事件 \( A \) 发生的频率 来近似估计。
① 频率的定义 (Definition of Frequency)：
在 \( n \) 次重复试验中，设事件 \( A \) 发生了 \( n_A \) 次，则事件 \( A \) 发生的 频率 (Frequency) 定义为：
\[ f_n(A) = \frac{n_A}{n} \]
频率 \( f_n(A) \) 表示在 \( n \) 次试验中，事件 \( A \) 发生的比例。
② 频率的稳定性 (Stability of Frequency)：
大量实践和理论分析表明，当试验次数 \( n \) 逐渐增大时，事件 \( A \) 发生的频率 \( f_n(A) \) 往往会稳定在一个常数附近。 这种现象称为 频率的稳定性 (Stability of Frequency) 。 频率的稳定性是频率学派定义概率的实验基础。
③ 概率的频率定义 (Frequentist Definition of Probability)：
频率学派将事件 \( A \) 的概率定义为 频率的极限值 。 即：
\[ P(A) = \lim_{n \to \infty} f_n(A) = \lim_{n \to \infty} \frac{n_A}{n} \]
频率定义认为，概率是事件发生频率的稳定值，它反映了事件发生的客观可能性大小。
④ 频率定义的特点 (Characteristics of Frequentist Definition)：
▮▮▮▮ⓑ 客观性 (Objectivity)： 频率定义强调概率的客观性，认为概率是随机事件本身固有的属性，可以通过大量重复试验来客观地估计。
▮▮▮▮ⓒ 可操作性 (Operability)： 频率定义具有可操作性，可以通过实际的重复试验来估计事件的概率。
▮▮▮▮ⓓ 局限性 (Limitations)：
▮▮▮▮▮▮▮▮❺ 需要可重复试验 (Repeatable Experiments Required)： 频率定义只适用于可以重复进行的随机试验，对于不可重复的事件（例如，明天是否下雨，某次地震是否发生），频率定义难以应用。
▮▮▮▮▮▮▮▮❻ 极限的实际意义 (Practical Meaning of Limit)： 频率的极限值只是一个理想化的概念，在实际应用中，试验次数总是有限的，频率只是概率的近似值。 频率的稳定性本身也只是统计规律，而非严格的数学定理。
▮▮▮▮▮▮▮▮❼ 循环定义 (Circular Definition)： 频率的稳定性本身也是一种概率现象，用频率来定义概率，某种程度上存在循环定义的嫌疑。
尽管频率定义存在一定的局限性，但它符合人们对概率的直观理解，并在许多实际应用中发挥着重要作用，尤其是在物理学、工程学等领域。
1.4.2 贝叶斯学派的观点 (Bayesian Viewpoint)
贝叶斯学派从 主观信念 或 先验信息 出发来定义概率。 贝叶斯学派认为，概率不仅可以描述客观事件发生的可能性，也可以描述人们对事件发生 相信程度 的主观判断。
① 主观概率 (Subjective Probability)：
贝叶斯学派认为，概率是 观察者对事件发生相信程度的度量 。 这种相信程度可以是主观的，可以基于个人的经验、知识或信念。 主观概率允许概率的取值具有一定的 主观性 (Subjectivity) 。
② 先验概率 (Prior Probability)：
在贝叶斯框架下，事件的初始概率称为 先验概率 (Prior Probability) 。 先验概率是在 没有观测数据 的情况下，根据已有的知识或经验对事件概率的估计。 先验概率体现了主观信念或先验信息。
③ 后验概率 (Posterior Probability)：
当获得新的 观测数据 (Observed Data) 后，需要根据观测数据来 更新 先验概率，得到 后验概率 (Posterior Probability) 。 后验概率是在 给定观测数据 的条件下，对事件概率的 修正 和 更新 。 后验概率是贝叶斯推断的核心。
④ 贝叶斯公式 (Bayes' Formula)：
贝叶斯公式是连接先验概率和后验概率的桥梁。 设事件 \( A \) 和事件 \( B \)，已知 \( P(B \mid A) \) (在事件 \( A \) 发生的条件下，事件 \( B \) 发生的条件概率) 和 \( P(A) \) (事件 \( A \) 的先验概率)，则事件 \( A \) 的后验概率 \( P(A \mid B) \) (在事件 \( B \) 发生的条件下，事件 \( A \) 发生的条件概率) 可以通过贝叶斯公式计算：
\[ P(A \mid B) = \frac{P(B \mid A) P(A)}{P(B)} \]
其中， \( P(B) \) 可以通过 全概率公式 (Law of Total Probability) 计算：
\[ P(B) = \sum_{i} P(B \mid A_i) P(A_i) \]
这里 \( \{A_i\} \) 是样本空间的一个完备事件组。
⑤ 贝叶斯学派的特点 (Characteristics of Bayesian Viewpoint)：
▮▮▮▮ⓑ 主观性与客观性的统一 (Unification of Subjectivity and Objectivity)： 贝叶斯学派既承认概率的主观性，也强调通过观测数据来修正主观概率，实现主观概率向客观概率的逼近。
▮▮▮▮ⓒ 适用范围广 (Wide Range of Applications)： 贝叶斯学派的概率定义适用于各种类型的事件，包括可重复事件和不可重复事件。 贝叶斯方法在 统计推断 (Statistical Inference) 、 机器学习 (Machine Learning) 、 人工智能 (Artificial Intelligence) 等领域得到广泛应用。
▮▮▮▮ⓓ 依赖先验信息 (Dependence on Prior Information)： 贝叶斯方法的结果在一定程度上依赖于先验概率的选择。 先验概率的选择可能带有主观性，不同的先验概率可能导致不同的后验概率。 如何合理选择先验概率是贝叶斯方法的一个重要问题。
贝叶斯学派的观点为概率论提供了新的视角，拓展了概率的应用范围，尤其在需要融合先验知识和观测数据的场景下，贝叶斯方法具有独特的优势。
1.4.3 概率的公理化定义 (Axiomatic Definition of Probability)
为了克服频率定义和贝叶斯定义的局限性，并使概率论成为一门严谨的数学学科， 柯尔莫哥洛夫 (Kolmogorov) 在 20 世纪 30 年代建立了概率论的公理化体系。 公理化定义基于 集合论 (Set Theory) 和 测度论 (Measure Theory) ，从数学公理出发，抽象地定义概率的概念。
① 概率空间 (Probability Space)：
概率空间是概率论的基本框架，由三个要素组成： \( (\Omega, \mathcal{F}, P) \)，其中：
▮▮▮▮ⓐ 样本空间 \( \Omega \) (Sample Space)： 样本空间 \( \Omega \) 是随机试验所有可能结果的集合。
▮▮▮▮ⓑ 事件域 \( \mathcal{F} \) (Event Field) 或 \( \sigma \)-代数 (\( \sigma \)-algebra)： 事件域 \( \mathcal{F} \) 是由样本空间 \( \Omega \) 的某些子集构成的集合族。 \( \mathcal{F} \) 中的每个元素称为 事件 (Event) 。 事件域 \( \mathcal{F} \) 需要满足以下条件：
▮▮▮▮▮▮▮▮❸ \( \Omega \in \mathcal{F} \) (样本空间是事件)。
▮▮▮▮▮▮▮▮❹ 若 \( A \in \mathcal{F} \)，则 \( A^c \in \mathcal{F} \) (事件域对 补运算 封闭)。
▮▮▮▮▮▮▮▮❺ 若 \( A_1, A_2, \ldots \in \mathcal{F} \)，则 \( \bigcup_{i=1}^{\infty} A_i \in \mathcal{F} \) (事件域对 可数并运算 封闭)。
由条件❷和❸可以推导出，事件域 \( \mathcal{F} \) 也对 交运算 和 差运算 封闭。
▮▮▮▮ⓒ 概率测度 \( P \) (Probability Measure)： 概率测度 \( P \) 是定义在事件域 \( \mathcal{F} \) 上的一个 实值函数 \( P: \mathcal{F} \to [0, 1] \)，满足以下 公理 (Axioms)：
▮▮▮▮▮▮▮▮❷ 非负性 (Non-negativity)： 对于任意事件 \( A \in \mathcal{F} \)，有 \( P(A) \ge 0 \)。
▮▮▮▮▮▮▮▮❸ 规范性 (Normalization)： 样本空间 \( \Omega \) 的概率为 1，即 \( P(\Omega) = 1 \)。
▮▮▮▮▮▮▮▮❹ 可数可加性 (Countable Additivity)： 若 \( A_1, A_2, \ldots \in \mathcal{F} \) 是一列 两两互斥 (Pairwise Disjoint) 的事件，即 \( A_i \cap A_j = \emptyset \) (当 \( i \ne j \) 时)，则它们的并事件的概率等于各事件概率之和：
\[ P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i) \]
② 概率的基本性质 (Basic Properties of Probability)： ③ 公理化定义的意义 (Significance of Axiomatic Definition)： 现代概率论主要采用公理化定义。在实际应用中，我们可以根据具体问题选择合适的概率解释，例如，在重复试验的背景下，可以借鉴频率的观点；在需要融入主观判断的场景下，可以参考贝叶斯的思路；但在理论分析和严格推导时，则需要基于公理化体系。 在概率论中，条件概率 (Conditional Probability) 描述了在给定某事件 \(B\) 发生的条件下，事件 \(A\) 发生的概率。它帮助我们理解事件之间的依赖关系，并根据已知信息更新我们对事件发生可能性的评估。 定义 2.1.1 (条件概率的定义) 设 \(A\) 和 \(B\) 是样本空间 \(\Omega\) 中的两个事件，且 \(P(B) > 0\)。事件 \(A\) 在事件 \(B\) 发生的条件下的条件概率，记为 \(P(A|B)\)，定义为： \[ P(A|B) = \frac{P(A \cap B)}{P(B)} \] 其中，\(P(A \cap B)\) 是事件 \(A\) 和事件 \(B\) 同时发生的概率，\(P(B)\) 是事件 \(B\) 发生的概率。 直观理解 条件概率 \(P(A|B)\) 可以理解为，当我们已知事件 \(B\) 已经发生时，我们将样本空间 \(\Omega\) 缩小到 \(B\)。此时，我们感兴趣的是在新的样本空间 \(B\) 中，事件 \(A\) 发生的概率。因此，我们实际上是在计算 \(A \cap B\) 在 \(B\) 中所占的比例。 案例分析 2.1.1 (抛掷硬币) 考虑抛掷一枚均匀硬币两次的实验。样本空间为 \(\Omega = \{ (H,H), (H,T), (T,H), (T,T) \}\)，其中 \(H\) 表示正面朝上，\(T\) 表示反面朝上。假设每个基本事件的概率均为 \(1/4\)。 设事件 \(A\) 为“第一次抛掷为正面”，事件 \(B\) 为“至少有一次抛掷为正面”。 ⚝ 事件 \(A = \{ (H,H), (H,T) \}\)，\(P(A) = 2/4 = 1/2\)。 现在，我们想计算在“至少有一次抛掷为正面”的条件下，“第一次抛掷为正面”的概率，即 \(P(A|B)\)。根据条件概率的定义： \[ P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{1/2}{3/4} = \frac{2}{3} \] 频率学派的解释 从频率学派 (Frequentist Viewpoint) 的角度来看，条件概率可以理解为在重复进行大量试验的过程中，如果只考虑事件 \(B\) 发生的那些试验，那么在这些试验中事件 \(A\) 发生的频率趋近于 \(P(A|B)\)。 性质 2.1.1 (条件概率的性质) 条件概率 \(P(\cdot|B)\) 满足概率的公理化定义，即： ① 非负性 (Non-negativity)：对于任意事件 \(A \subseteq \Omega\)，\(P(A|B) \ge 0\)。 这些性质表明，对于固定的事件 \(B\)，\(P(\cdot|B)\) 可以看作是定义在样本空间 \(\Omega\) 上的一个新的概率测度。 参考文献 ⚝ Sheldon Ross. A First Course in Probability. Pearson Education, 2019. 全概率公式 (Law of Total Probability) 提供了一种计算复杂事件概率的方法，通过将样本空间划分为若干个互不相容的事件，并将复杂事件的概率分解为在这些划分事件条件下发生的条件概率之和。 定义 2.2.1 (完备事件组) 设 \(B_1, B_2, \dots, B_n\) 是一组事件，如果它们满足以下两个条件： ① 互不相容 (Mutually Exclusive)：\(B_i \cap B_j = \emptyset\)，对于任意 \(i \neq j\)。 则称 \(B_1, B_2, \dots, B_n\) 为样本空间 \(\Omega\) 的一个完备事件组 (Partition of Sample Space)，或者说构成 \(\Omega\) 的一个划分。 定理 2.2.1 (全概率公式) 设 \(B_1, B_2, \dots, B_n\) 是样本空间 \(\Omega\) 的一个完备事件组，且 \(P(B_i) > 0\) 对于所有 \(i = 1, 2, \dots, n\)。则对于任意事件 \(A \subseteq \Omega\)，事件 \(A\) 的概率可以表示为： \[ P(A) = \sum_{i=1}^{n} P(A|B_i)P(B_i) \] 证明 由于 \(B_1, B_2, \dots, B_n\) 构成样本空间 \(\Omega\) 的一个划分，因此事件 \(A\) 可以表示为： \[ A = A \cap \Omega = A \cap \left(\bigcup_{i=1}^{n} B_i\right) = \bigcup_{i=1}^{n} (A \cap B_i) \] 由于 \(B_i\) 互不相容，因此 \(A \cap B_i\) 也互不相容。根据概率的可加性： \[ P(A) = P\left(\bigcup_{i=1}^{n} (A \cap B_i)\right) = \sum_{i=1}^{n} P(A \cap B_i) \] 根据条件概率的定义 \(P(A|B_i) = \frac{P(A \cap B_i)}{P(B_i)}\)，我们有 \(P(A \cap B_i) = P(A|B_i)P(B_i)\)。代入上式，得到全概率公式： \[ P(A) = \sum_{i=1}^{n} P(A|B_i)P(B_i) \] 案例分析 2.2.1 (产品合格率) 假设某工厂有三个车间生产同一种产品，一车间、二车间和三车间的产量分别占总产量的 30%、45% 和 25%。各车间产品的合格率分别为 98%、95% 和 99%。现在从出厂产品中随机抽取一件产品，求该产品是合格品的概率。 设事件 \(A\) 为“抽到的产品是合格品”，事件 \(B_1\)、\(B_2\)、\(B_3\) 分别为“抽到的产品来自一车间”、“抽到的产品来自二车间”和“抽到的产品来自三车间”。 ⚝ \(P(B_1) = 0.30\)，\(P(B_2) = 0.45\)，\(P(B_3) = 0.25\)。 \(B_1, B_2, B_3\) 构成样本空间 \(\Omega\) 的一个划分，根据全概率公式，产品是合格品的概率为： \[ P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + P(A|B_3)P(B_3) \] 因此，抽到的产品是合格品的概率为 0.969，即 96.9%。 推广形式 当划分事件组为可数无穷个时，全概率公式可以推广为： 设 \(B_1, B_2, \dots\) 是样本空间 \(\Omega\) 的一个可数划分，且 \(P(B_i) > 0\) 对于所有 \(i = 1, 2, \dots\)。则对于任意事件 \(A \subseteq \Omega\)，事件 \(A\) 的概率可以表示为： \[ P(A) = \sum_{i=1}^{\infty} P(A|B_i)P(B_i) \] 参考文献 ⚝ Sheldon Ross. A First Course in Probability. Pearson Education, 2019. 贝叶斯定理 (Bayes' Theorem) 是概率论中一个非常重要的定理，它描述了在已知某些观测数据后，如何更新我们对某个假设的概率评估。贝叶斯定理是贝叶斯统计 (Bayesian Statistics) 的基石，在机器学习 (Machine Learning)、人工智能 (Artificial Intelligence) 等领域有着广泛的应用。 定理 2.3.1 (贝叶斯定理) 设 \(B_1, B_2, \dots, B_n\) 是样本空间 \(\Omega\) 的一个完备事件组，且 \(P(B_i) > 0\) 对于所有 \(i = 1, 2, \dots, n\)。设 \(A\) 是一个事件，且 \(P(A) > 0\)。则对于任意 \(i = 1, 2, \dots, n\)，在事件 \(A\) 发生的条件下，事件 \(B_i\) 发生的条件概率 \(P(B_i|A)\) 可以表示为： \[ P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n} P(A|B_j)P(B_j)} \] 证明 根据条件概率的定义，我们有： \[ P(B_i|A) = \frac{P(B_i \cap A)}{P(A)} \] 以及 \[ P(A|B_i) = \frac{P(A \cap B_i)}{P(B_i)} \implies P(A \cap B_i) = P(A|B_i)P(B_i) \] 由于 \(A \cap B_i = B_i \cap A\)，所以 \(P(B_i \cap A) = P(A \cap B_i) = P(A|B_i)P(B_i)\)。将此代入 \(P(B_i|A)\) 的表达式，并利用全概率公式 \(P(A) = \sum_{j=1}^{n} P(A|B_j)P(B_j)\)，即可得到贝叶斯定理： \[ P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n} P(A|B_j)P(B_j)} \] 术语解释 在贝叶斯定理中，各个概率项通常有特定的名称： ⚝ \(P(B_i)\)：先验概率 (Prior Probability)，表示在观测到事件 \(A\) 之前，我们对事件 \(B_i\) 发生的概率的初始评估。 案例分析 2.3.1 (疾病诊断) 假设某种疾病在人群中的发病率为 0.1%（即 0.001）。有一种检测方法可以检测出该疾病，其灵敏度 (Sensitivity) 为 99%（即患病者检测呈阳性的概率为 0.99），特异性 (Specificity) 为 95%（即未患病者检测呈阴性的概率为 0.95）。如果某人的检测结果呈阳性，那么他真正患病的概率是多少？ 设事件 \(D\) 为“患病”，事件 \(D^c\) 为“未患病”，事件 \(+\) 为“检测结果呈阳性”。 ⚝ 先验概率：\(P(D) = 0.001\)，\(P(D^c) = 1 - P(D) = 0.999\)。 我们想计算的是后验概率 \(P(D|+)\)，即在检测结果呈阳性的条件下，真正患病的概率。根据贝叶斯定理： \[ P(D|+) = \frac{P(+|D)P(D)}{P(+|D)P(D) + P(+|D^c)P(D^c)} \] 即使检测结果呈阳性，这个人真正患病的概率也只有约 1.94%。这个结果可能出乎意料，因为它揭示了即使检测方法具有较高的灵敏度和特异性，在低发病率的情况下，阳性预测值 (Positive Predictive Value, PPV) 仍然可能较低。这强调了在解释医学检测结果时，需要考虑疾病的先验概率（发病率）。 贝叶斯定理的应用 贝叶斯定理在各个领域都有广泛的应用，包括： ⚝ 医学诊断 (Medical Diagnosis)：如上述案例，用于根据检测结果评估患病概率。 参考文献 ⚝ Sheldon Ross. A First Course in Probability. Pearson Education, 2019. 事件的独立性 (Independence of Events) 是概率论中描述事件之间关系的一个重要概念。如果两个事件的发生互不影响，则称这两个事件是独立的。独立性简化了概率计算，并为理解随机现象的结构提供了重要工具。 定义 2.4.1 (事件的独立性) 两个事件 \(A\) 和 \(B\) 是独立的 (Independent)，如果满足以下条件： \[ P(A \cap B) = P(A)P(B) \] 如果上式不成立，则称事件 \(A\) 和 \(B\) 是不独立的 (Dependent) 或 相关的 (Correlated)。 直观理解 事件 \(A\) 和 \(B\) 独立意味着事件 \(B\) 的发生不影响事件 \(A\) 发生的概率，反之亦然。从条件概率的角度来看，如果 \(A\) 和 \(B\) 独立，且 \(P(B) > 0\)，则有： \[ P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{P(A)P(B)}{P(B)} = P(A) \] 同样，如果 \(P(A) > 0\)，则有 \(P(B|A) = P(B)\)。这表明，在事件 \(B\) 发生的条件下，事件 \(A\) 发生的概率仍然等于事件 \(A\) 自身的概率，不受事件 \(B\) 发生的影响。 案例分析 2.4.1 (连续抛掷硬币) 考虑连续抛掷一枚均匀硬币两次的实验。设事件 \(A\) 为“第一次抛掷为正面”，事件 \(B\) 为“第二次抛掷为正面”。 ⚝ \(A = \{ (H,H), (H,T) \}\)，\(P(A) = 1/2\)。 验证独立性条件： \[ P(A)P(B) = \frac{1}{2} \times \frac{1}{2} = \frac{1}{4} = P(A \cap B) \] 因此，事件 \(A\) 和事件 \(B\) 是独立的，即第一次抛掷的结果不影响第二次抛掷的结果。 性质 2.4.1 (独立事件的性质) 如果事件 \(A\) 和 \(B\) 独立，则以下各对事件也独立： ① \(A\) 和 \(B^c\) 证明 (以 ① 为例) 要证明 \(A\) 和 \(B^c\) 独立，需要证明 \(P(A \cap B^c) = P(A)P(B^c)\)。 我们知道 \(A = (A \cap B) \cup (A \cap B^c)\)，且 \((A \cap B)\) 和 \((A \cap B^c)\) 互不相容。因此， \[ P(A) = P(A \cap B) + P(A \cap B^c) \] 由于 \(A\) 和 \(B\) 独立，\(P(A \cap B) = P(A)P(B)\)。所以， \[ P(A \cap B^c) = P(A) - P(A)P(B) = P(A)(1 - P(B)) = P(A)P(B^c) \] 因此，\(A\) 和 \(B^c\) 独立。同理可证其他性质。 多个事件的独立性 定义 2.4.2 (多个事件的相互独立性) \(n\) 个事件 \(A_1, A_2, \dots, A_n\) 是相互独立的 (Mutually Independent)，如果对于任意 \(k\) (\(2 \le k \le n\)) 和任意 \(1 \le i_1 < i_2 < \dots < i_k \le n\)，都有： \[ P(A_{i_1} \cap A_{i_2} \cap \dots \cap A_{i_k}) = P(A_{i_1})P(A_{i_2}) \dots P(A_{i_k}) \] 特别地，对于三个事件 \(A, B, C\) 相互独立，需要满足以下四个条件： ① \(P(A \cap B) = P(A)P(B)\) 注意：两两独立 (Pairwise Independence) 不能保证相互独立。即满足条件 ①②③，但不能保证条件 ④。 案例分析 2.4.2 (两两独立但非相互独立) 考虑一个样本空间 \(\Omega = \{1, 2, 3, 4\}\)，每个基本事件的概率为 \(1/4\)。定义事件： ⚝ \(A = \{1, 2\}\)，\(P(A) = 1/2\) 计算交事件的概率： ⚝ \(A \cap B = \{1\}\)，\(P(A \cap B) = 1/4 = P(A)P(B)\) 因此，事件 \(A, B, C\) 两两独立，但不相互独立。 独立性的应用 独立性在概率模型构建和简化计算中非常重要。例如，在蒙特卡洛模拟 (Monte Carlo Simulation) 中，我们通常假设每次抽样是独立的。在统计推断 (Statistical Inference) 中，独立同分布 (Independent and Identically Distributed, i.i.d.) 的假设是许多统计方法的基础。 参考文献 ⚝ Sheldon Ross. A First Course in Probability. Pearson Education, 2019. 伯努利试验 (Bernoulli Trial) 和 二项分布 (Binomial Distribution) 是概率论中最基本和最重要的概念之一，它们描述了重复进行独立的、只有两种结果的随机试验的模型。 定义 2.5.1 (伯努利试验) 伯努利试验 (Bernoulli Trial) 是一种只有两种可能结果的随机试验，通常称为成功 (Success) 和 失败 (Failure)。每次试验都是独立的，且成功的概率 \(p\) 在每次试验中都保持不变，失败的概率为 \(1-p\)。 设 \(X\) 表示伯努利试验的结果，通常用随机变量表示为： \[ X = \begin{cases} 1, & \text{如果试验成功} \\ 0, & \text{如果试验失败} \end{cases} \] 其中，\(P(X=1) = p\)，\(P(X=0) = 1-p\)。参数 \(p\) 称为成功概率 (Probability of Success)。 常见例子 ⚝ 抛掷一枚硬币一次，正面朝上为成功，反面朝上为失败。 定义 2.5.2 (二项分布) 二项分布 (Binomial Distribution) 描述了在 \(n\) 次独立重复的伯努利试验中，成功的次数的概率分布。设 \(X\) 表示 \(n\) 次伯努利试验中成功的次数，则 \(X\) 服从参数为 \(n\) 和 \(p\) 的二项分布，记为 \(X \sim Bin(n, p)\)。 概率质量函数 (Probability Mass Function, PMF) 二项分布的概率质量函数给出了在 \(n\) 次试验中恰好成功 \(k\) 次的概率，公式为： \[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, 2, \dots, n \] 其中，\(\binom{n}{k} = \frac{n!}{k!(n-k)!}\) 是二项系数 (Binomial Coefficient)，表示从 \(n\) 次试验中选择 \(k\) 次成功的组合数。\(p^k\) 是 \(k\) 次成功的概率，\((1-p)^{n-k}\) 是 \(n-k\) 次失败的概率。 推导过程 在 \(n\) 次伯努利试验中，要得到恰好 \(k\) 次成功，首先需要从 \(n\) 次试验中选择 \(k\) 次作为成功，共有 \(\binom{n}{k}\) 种组合方式。对于每一种组合方式，例如前 \(k\) 次成功，后 \(n-k\) 次失败，其概率为 \(p^k (1-p)^{n-k}\)。由于所有组合方式是互不相容的，因此将所有组合方式的概率相加，得到二项分布的概率质量函数。 案例分析 2.5.1 (射击练习) 某射击运动员每次射击击中目标的概率为 0.8。如果他进行 5 次独立射击，求他恰好击中目标 3 次的概率。 这是一个二项分布问题，其中 \(n=5\) (试验次数)，\(p=0.8\) (每次成功的概率)，我们要求 \(P(X=3)\)，其中 \(X \sim Bin(5, 0.8)\)。 \[ P(X=3) = \binom{5}{3} (0.8)^3 (1-0.8)^{5-3} = \binom{5}{3} (0.8)^3 (0.2)^2 \] 因此，该运动员进行 5 次射击，恰好击中目标 3 次的概率为 0.2048，即 20.48%。 二项分布的性质 ⚝ 期望 (Expectation)：\(E(X) = np\)。在 \(n\) 次试验中，平均成功的次数为 \(np\)。 二项分布的应用 二项分布在各个领域都有广泛的应用，包括： ⚝ 质量控制 (Quality Control)：检验一批产品中的不合格品数量。 参考文献 ⚝ Sheldon Ross. A First Course in Probability. Pearson Education, 2019. 在概率论中，我们经常需要研究与随机现象结果相关的数值。为了方便数学上的处理和分析，我们引入了随机变量 (Random Variable) 的概念。简单来说，随机变量是将随机试验的结果映射到实数轴上的函数，它用数值化的方式来描述随机事件的结果。 更正式地定义，随机变量 \(X\) 是一个定义在样本空间 \(\Omega\) 上的实值函数，即 \(X: \Omega \rightarrow \mathbb{R}\)，它将每个基本事件 \(\omega \in \Omega\) 映射到一个实数 \(X(\omega)\)。 ① 为什么引入随机变量？ 引入随机变量的主要目的是将非数值型的随机事件结果数值化，从而可以使用数学工具，特别是微积分和线性代数等，来研究随机现象的规律。例如： ▮▮▮▮ⓐ 抛掷硬币的例子： 样本空间 \(\Omega = \{\text{正面}, \text{反面}\}\) 是非数值的。我们可以定义一个随机变量 \(X\) 来表示抛掷硬币的结果： ▮▮▮▮ⓑ 掷骰子的例子：样本空间 \(\Omega = \{1, 2, 3, 4, 5, 6\}\) 本身已经是数值型的，但将其视为随机变量，可以更方便地研究关于骰子点数的各种概率问题，例如点数的期望值、方差等。 ② 随机变量的本质： 随机变量本质上是一个函数，但它与我们通常在微积分中遇到的函数有所不同。它的自变量是样本空间中的基本事件，而这些基本事件是随机的。因此，随机变量的取值也具有随机性。 ③ 随机变量的分类： 根据随机变量取值的不同，我们可以将其分为两类： ⚝ 离散型随机变量 (Discrete Random Variable)：取值是可数的随机变量。通常，离散型随机变量的取值可以是有限个，也可以是无限可数个，例如整数、自然数等。 在后续的章节中，我们将分别详细讨论离散型和连续型随机变量，以及它们各自的特性和应用。 离散型随机变量 (Discrete Random Variable) 是指其取值是可数的随机变量。这意味着离散型随机变量的所有可能取值可以被列举出来，即使这些取值是无限的。 ① 定义： 如果随机变量 \(X\) 的取值范围是有限集或可数无限集 \(\{x_1, x_2, \ldots\}\)，则称 \(X\) 为离散型随机变量。 ② 概率质量函数 (Probability Mass Function, PMF)： 对于离散型随机变量 \(X\)，我们用概率质量函数 (PMF) \(P(X=x)\) 或 \(p_X(x)\) 来描述 \(X\) 在每个可能取值 \(x\) 处的概率。PMF 必须满足以下两个条件： ⚝ 非负性 (Non-negativity)：对于所有可能的取值 \(x\)，\(P(X=x) \ge 0\)。 ③ 累积分布函数 (Cumulative Distribution Function, CDF)： 离散型随机变量的累积分布函数 (CDF) \(F_X(x)\) 定义为 \(X\) 取值小于或等于 \(x\) 的概率： ④ 常见离散型随机变量示例： ⚝ 伯努利分布 (Bernoulli Distribution)：描述单次试验的成功或失败，取值 \(\{0, 1\}\)。 这些重要的离散分布将在后续章节中详细介绍。 案例分析： 顾客到达数量 假设某超市在上午 9:00 到 10:00 之间到达的顾客数量 \(N\) 是一个离散型随机变量。通过长期观察，我们得到顾客到达数量的概率分布如下： 我们可以验证 PMF 的条件： ⚝ 非负性：所有概率值都大于等于 0。 我们可以计算顾客到达数量小于等于 3 的概率，即 CDF 在 \(x=3\) 处的值： 连续型随机变量 (Continuous Random Variable) 是指其取值充满一个或多个区间，不可数的随机变量。对于连续型随机变量，我们不能像离散型随机变量那样列出所有可能的取值，也不能直接定义每个具体取值的概率，因为在理论上，连续型随机变量取任何特定值的概率都为零。 ① 定义： 如果随机变量 \(X\) 的取值范围是一个连续区间，则称 \(X\) 为连续型随机变量。 ② 概率密度函数 (Probability Density Function, PDF)： 对于连续型随机变量 \(X\)，我们使用概率密度函数 (PDF) \(f_X(x)\) 来描述概率分布。PDF \(f_X(x)\) 本身不是概率，但它在某区间上的积分表示 \(X\) 取值在该区间内的概率。PDF 必须满足以下两个条件： ⚝ 非负性 (Non-negativity)：对于所有 \(x\)，\(f_X(x) \ge 0\)。 ③ 概率计算： 对于连续型随机变量 \(X\)，\(X\) 取值在区间 \([a, b]\) 内的概率由 PDF 在该区间上的积分给出： ④ 累积分布函数 (Cumulative Distribution Function, CDF)： 连续型随机变量的累积分布函数 (CDF) \(F_X(x)\) 定义与离散型随机变量类似，表示 \(X\) 取值小于或等于 \(x\) 的概率： ⑤ 常见连续型随机变量示例： ⚝ 均匀分布 (Uniform Distribution)：在给定区间内概率密度均匀分布。 这些重要的连续分布将在后续章节中详细介绍。 案例分析： 零件的寿命 假设某种电子零件的寿命 \(T\) (单位：小时) 是一个连续型随机变量，其 PDF 为： ⚝ 非负性：对于 \(t \ge 0\)，\(f_T(t) \ge 0\)。 我们可以计算零件寿命在 500 小时到 1500 小时之间的概率： 分布函数 (Cumulative Distribution Function, CDF)，也称为累积分布函数，是描述随机变量概率分布的最基本和最重要的工具之一。CDF 对所有类型的随机变量（包括离散型、连续型以及混合型）都适用。 ① 定义： 对于任意随机变量 \(X\)，其累积分布函数 (CDF) \(F_X(x)\) 定义为： ② CDF 的性质： CDF \(F_X(x)\) 具有以下重要性质，这些性质对于理解和应用 CDF 至关重要： ⚝ 单调不减性 (Monotonicity)：如果 \(x_1 < x_2\)，则 \(F_X(x_1) \le F_X(x_2)\)。这是因为事件 \(\{X \le x_1\}\) 是事件 \(\{X \le x_2\}\) 的子集，所以 \(P(X \le x_1) \le P(X \le x_2)\)。 ③ CDF 的应用： CDF 提供了一种统一的方法来描述和计算各种随机变量的概率。通过 CDF，我们可以方便地计算随机变量落在任意区间内的概率，而无需区分随机变量是离散型还是连续型。 案例分析： 指数分布的 CDF 对于参数为 \(\lambda > 0\) 的指数分布，其 PDF 为 \(f_X(x) = \lambda e^{-\lambda x}\) (当 \(x \ge 0\) 时，否则为 0)。我们可以计算其 CDF： 概率质量函数 (Probability Mass Function, PMF) 和 概率密度函数 (Probability Density Function, PDF) 是描述随机变量概率分布的两种重要函数，它们分别适用于离散型和连续型随机变量。 ① 概率质量函数 (PMF) - 针对离散型随机变量： 对于离散型随机变量 \(X\)，概率质量函数 (PMF) \(p_X(x)\) 定义为： ⚝ PMF 的性质： 案例： 抛掷均匀骰子的 PMF 设 \(X\) 表示抛掷一个均匀骰子的点数，\(X\) 的可能取值为 \(\{1, 2, 3, 4, 5, 6\}\)。由于骰子是均匀的，每个点数出现的概率相等，因此 PMF 为： ② 概率密度函数 (PDF) - 针对连续型随机变量： 对于连续型随机变量 \(X\)，概率密度函数 (PDF) \(f_X(x)\) 是一个非负函数，其在区间上的积分表示 \(X\) 取值在该区间内的概率。 ⚝ PDF 的性质： 案例： 标准正态分布的 PDF 标准正态分布 \(Z\) 的 PDF 为： ③ PMF 与 PDF 的对比： PMF 和 PDF 是描述随机变量概率分布的关键工具，理解它们的定义、性质和应用，对于深入学习概率论至关重要。CDF 作为更通用的工具，可以统一处理离散型和连续型随机变量的概率问题。 伯努利分布 (Bernoulli Distribution)，又称两点分布或0-1分布，是描述单次伯努利试验 (Bernoulli trial) 结果的离散概率分布。伯努利试验是指只有两种可能结果的随机试验，通常我们将其结果标记为“成功 (success)” 和 “失败 (failure)”。例如，抛掷一枚硬币，结果可以是正面朝上（成功）或反面朝上（失败）；或者检查一件产品，结果可以是合格（成功）或不合格（失败）。 定义 4.1.1 (伯努利分布)： \[ P(X=x) = \begin{cases} p, & \text{if } x = 1 \text{ (成功)} \\ 1-p, & \text{if } x = 0 \text{ (失败)} \\ 0, & \text{otherwise} \end{cases} \] 也可以简洁地表示为： \[ P(X=x) = p^x (1-p)^{1-x}, \quad x \in \{0, 1\} \] 数学期望 (Expectation) 与 方差 (Variance)： 对于服从伯努利分布 \(X \sim Bernoulli(p)\) 的随机变量 \(X\)，其数学期望 \(E(X)\) 和方差 \(Var(X)\) 可以计算如下： 数学期望： 方差： 应用与例子： 伯努利分布是许多更复杂概率模型的基石。它描述了最简单的随机现象：一次试验，两种结果。 例子 4.1.1： 抛掷一枚均匀硬币，正面朝上的概率为 \(p = 0.5\)。设随机变量 \(X\) 表示抛掷结果，\(X=1\) 表示正面朝上（成功），\(X=0\) 表示反面朝上（失败）。则 \(X \sim Bernoulli(0.5)\)。 例子 4.1.2： 某产品合格率为 90%，即 \(p = 0.9\)。随机抽取一件产品，设随机变量 \(Y\) 表示抽取结果，\(Y=1\) 表示合格（成功），\(Y=0\) 表示不合格（失败）。则 \(Y \sim Bernoulli(0.9)\)。 二项分布 (Binomial Distribution) 描述的是在 \(n\) 次独立重复伯努利试验 (independent and identically distributed Bernoulli trials) 中，成功的次数的概率分布。每次试验的成功概率都为 \(p\)。 定义 4.2.1 (二项分布)： \[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, 2, \ldots, n \] 数学期望 (Expectation) 与 方差 (Variance)： 对于服从二项分布 \(X \sim Binomial(n, p)\) 的随机变量 \(X\)，其数学期望 \(E(X)\) 和方差 \(Var(X)\) 可以计算如下： 数学期望： 方差： 应用与例子： 二项分布在实际问题中非常常见，适用于描述在固定次数的独立重复试验中，成功的次数。 例子 4.2.1： 抛掷一枚均匀硬币 10 次，求正面朝上次数为 5 次的概率。 例子 4.2.2： 某工厂生产的产品合格率为 95%。随机抽取 20 件产品，求其中至少有 18 件合格的概率。 与伯努利分布的关系： 泊松分布 (Poisson Distribution) 描述的是在单位时间或空间内，稀有事件发生的次数的概率分布。这里的“稀有事件”指的是在很短的时间或很小的空间内，事件发生的概率很小，但在较长的时间或较大的空间内，事件可能发生多次。 定义 4.3.1 (泊松分布)： \[ P(X=k) = \frac{e^{-\lambda} \lambda^k}{k!}, \quad k = 0, 1, 2, \ldots \] 数学期望 (Expectation) 与 方差 (Variance)： 对于服从泊松分布 \(X \sim Poisson(\lambda)\) 的随机变量 \(X\)，其数学期望 \(E(X)\) 和方差 \(Var(X)\) 均为 \(\lambda\)。 数学期望： 方差： 应用与例子： 泊松分布广泛应用于描述稀有事件的发生次数，例如： 例子 4.3.1： 某城市在一天内发生的交通事故次数。假设平均每天发生 2 起交通事故，求一天内发生 3 起交通事故的概率。 例子 4.3.2： 某电话交换台在 1 分钟内收到的呼叫次数。假设平均每分钟收到 5 次呼叫，求 1 分钟内收到 0 次呼叫的概率。 泊松分布作为二项分布的极限： 几何分布 (Geometric Distribution) 描述的是在一系列独立重复伯努利试验中，首次成功所需的试验次数的概率分布。有两种常见的定义方式： 定义 4.4.1 (几何分布 - 类型一)： \[ P(X=k) = (1-p)^{k-1} p, \quad k = 1, 2, 3, \ldots \] 定义 4.4.2 (几何分布 - 类型二)： \[ P(Y=k) = (1-p)^{k} p, \quad k = 0, 1, 2, \ldots \] 注意：在不同的教材和文献中，几何分布的定义可能有所不同，需要根据上下文明确其具体含义。在本书中，我们主要采用类型一的定义，即首次成功所需的试验次数。 数学期望 (Expectation) 与 方差 (Variance) (针对类型一)： 对于服从几何分布（类型一） \(X \sim Geometric(p)\) 的随机变量 \(X\)，其数学期望 \(E(X)\) 和方差 \(Var(X)\) 可以计算如下： 数学期望： 方差： 应用与例子： 几何分布常用于描述等待首次成功的等待时间问题。 例子 4.4.1： 抛掷一枚均匀硬币，直到正面朝上为止。求抛掷次数为 3 次的概率。 例子 4.4.2： 某产品的不合格率为 10%，即 \(p = 0.1\) 为抽到不合格品的概率。逐个抽取产品进行检验，直到抽到不合格品为止。求抽取次数为 5 次的概率。 无记忆性 (Memoryless Property)： 超几何分布 (Hypergeometric Distribution) 描述的是在不放回抽样的情况下，从一个有限总体中抽取一定数量的样本，其中特定类型的个体数量的概率分布。 定义 4.5.1 (超几何分布)： \[ P(X=k) = \frac{\binom{M}{k} \binom{N-M}{n-k}}{\binom{N}{n}}, \quad k = \max(0, n-(N-M)), \ldots, \min(n, M) \] 数学期望 (Expectation) 与 方差 (Variance)： 对于服从超几何分布 \(X \sim Hypergeometric(N, M, n)\) 的随机变量 \(X\)，其数学期望 \(E(X)\) 和方差 \(Var(X)\) 可以计算如下： 数学期望： 方差： 应用与例子： 超几何分布常用于描述不放回抽样中的成功次数，例如： 例子 4.5.1： 一个箱子中有 10 个球，其中 3 个红球，7 个白球。不放回地随机抽取 4 个球，求抽到 2 个红球的概率。 例子 4.5.2： 一批产品共 100 件，其中有 10 件次品。从中不放回地随机抽取 5 件进行检验，求抽到至少 1 件次品的概率。 与二项分布的关系： 均匀分布（Uniform Distribution），也称为矩形分布（Rectangular Distribution），是最简单的连续概率分布之一。它描述了在给定区间内，所有数值出现概率均等的现象。想象一下一个理想的随机数生成器，它在一定范围内产生任何数字的可能性都是相同的，这就是均匀分布的直观体现。 定义 5.1.1 (均匀分布) 若连续型随机变量 \(X\) 的概率密度函数（Probability Density Function, PDF）为： \[ f(x) = \begin{cases} \frac{1}{b-a} & \text{for } a \le x \le b \\ 0 & \text{otherwise} \end{cases} \] 其中 \(a\) 和 \(b\) (\(a < b\)) 是常数，则称 \(X\) 服从区间 \([a, b]\) 上的均匀分布，记作 \(X \sim U(a, b)\)。 要点: ① 参数：均匀分布由两个参数 \(a\) 和 \(b\) 确定，分别表示分布的下界和上界。 \[ F(x) = \begin{cases} 0 & \text{for } x < a \\ \frac{x-a}{b-a} & \text{for } a \le x \le b \\ 1 & \text{for } x > b \end{cases} \] ④ 期望值 (Expectation)：均匀分布的期望值 \(E[X]\) 是区间的中点： \[ E[X] = \int_{-\infty}^{\infty} x f(x) dx = \int_{a}^{b} x \frac{1}{b-a} dx = \frac{a+b}{2} \] ⑤ 方差 (Variance)：均匀分布的方差 \(Var(X)\) 反映了数据值围绕期望值的离散程度： \[ Var(X) = E[X^2] - (E[X])^2 = \frac{(b-a)^2}{12} \] 应用场景: ⚝ 模拟随机事件：在计算机模拟中，均匀分布常被用作生成伪随机数的基础，例如，模拟一个骰子的结果，或者在某个范围内随机选择一个数值。 示例 5.1.1 (公交车到达时间) 假设一辆公交车在早上 7:00 到 7:30 之间均匀到达车站。令 \(X\) 表示公交车到达的时间（以 7:00 之后分钟数计），则 \(X \sim U(0, 30)\)。 ⚝ 公交车在 7:15 之前到达的概率是多少？ 参考文献: ⚝ Sheldon Ross. Introduction to Probability Models. Academic Press, 2019. 指数分布（Exponential Distribution）是描述独立随机事件发生的时间间隔的常用连续概率分布。它常用于描述寿命、等待时间等现象，并且与泊松过程（Poisson Process）密切相关。指数分布的一个重要特性是无记忆性（Memoryless Property），这意味着事件在未来的发生概率与过去已经等待的时间无关。 定义 5.2.1 (指数分布) 若连续型随机变量 \(X\) 的概率密度函数为： \[ f(x) = \begin{cases} \lambda e^{-\lambda x} & \text{for } x \ge 0 \\ 0 & \text{for } x < 0 \end{cases} \] 其中 \(\lambda > 0\) 是速率参数（rate parameter），则称 \(X\) 服从参数为 \(\lambda\) 的指数分布，记作 \(X \sim Exp(\lambda)\)。有时也使用均值参数 \(\mu = 1/\lambda\) 来表示，记作 \(X \sim Exp(\mu)\)。 要点: ① 参数：指数分布由一个参数 \(\lambda\) (或 \(\mu\)) 确定，\(\lambda\) 表示单位时间内事件发生的平均次数（速率）。 \[ F(x) = \begin{cases} 1 - e^{-\lambda x} & \text{for } x \ge 0 \\ 0 & \text{for } x < 0 \end{cases} \] ④ 期望值 (Expectation)：指数分布的期望值 \(E[X]\) 是平均等待时间或平均寿命： \[ E[X] = \int_{0}^{\infty} x \lambda e^{-\lambda x} dx = \frac{1}{\lambda} = \mu \] ⑤ 方差 (Variance)：指数分布的方差 \(Var(X)\) 为： \[ Var(X) = E[X^2] - (E[X])^2 = \frac{1}{\lambda^2} = \mu^2 \] ⑥ 无记忆性 (Memoryless Property)：指数分布最重要的性质之一是无记忆性。它指的是，对于任意 \(s, t \ge 0\)，有： \[ P(X > s + t \mid X > s) = P(X > t) \] 这意味着，如果已知事件已经等待了时间 \(s\) 还没有发生，那么再等待时间 \(t\) 才发生的概率，与从头开始等待时间 \(t\) 才发生的概率相同。这表明过去的等待时间对未来没有影响。 应用场景: ⚝ 寿命分析：电子元件的寿命、机器的故障间隔时间等常可以用指数分布来建模。 示例 5.2.1 (灯泡寿命) 假设某种灯泡的寿命服从指数分布，平均寿命为 1000 小时。 ⚝ 灯泡寿命超过 1500 小时的概率是多少？ 与泊松分布的关系: 指数分布与泊松分布密切相关。如果事件以恒定平均速率 \(\lambda\) 发生（服从泊松过程），那么两次连续事件发生的时间间隔就服从参数为 \(\lambda\) 的指数分布。反之，如果时间间隔服从指数分布，那么单位时间内事件发生的次数就服从泊松分布。 参考文献: ⚝ Sheldon Ross. Introduction to Probability Models. Academic Press, 2019. 正态分布（Normal Distribution），又称高斯分布（Gaussian Distribution），是概率论和统计学中最重要的连续概率分布之一。它在自然科学、社会科学、工程学、医学等领域都有广泛的应用。正态分布因其钟形曲线的形状而广为人知，并且许多随机现象都近似服从正态分布，这得益于中心极限定理（Central Limit Theorem, CLT）。 定义 5.3.1 (正态分布) 若连续型随机变量 \(X\) 的概率密度函数为： \[ f(x) = \frac{1}{\sigma \sqrt{2\pi}} e^{-\frac{1}{2} \left(\frac{x-\mu}{\sigma}\right)^2}, \quad -\infty < x < \infty \] 其中 \(\mu\) 是均值（mean），\(\sigma > 0\) 是标准差（standard deviation），则称 \(X\) 服从参数为 \(\mu\) 和 \(\sigma\) 的正态分布，记作 \(X \sim N(\mu, \sigma^2)\)。 要点: ① 参数：正态分布由两个参数 \(\mu\) 和 \(\sigma^2\) 确定，\(\mu\) 决定分布的中心位置，\(\sigma\) 决定分布的离散程度。 \[ E[X] = \mu \] ⑤ 方差 (Variance)：正态分布的方差 \(Var(X)\) 是参数 \(\sigma^2\)，标准差为 \(\sigma\)： \[ Var(X) = \sigma^2 \] ⑥ 对称性：正态分布以均值 \(\mu\) 为中心对称，即 \(f(\mu + x) = f(\mu - x)\)。 标准正态分布（Standard Normal Distribution）是正态分布的一个特例，其均值 \(\mu = 0\)，标准差 \(\sigma = 1\)。标准正态分布在正态分布理论中起着核心作用，任何正态分布都可以通过线性变换转换为标准正态分布。 定义 5.3.2 (标准正态分布) 若连续型随机变量 \(Z\) 服从均值为 0，标准差为 1 的正态分布，即 \(Z \sim N(0, 1)\)，则称 \(Z\) 服从标准正态分布。其概率密度函数为： \[ \phi(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2} z^2}, \quad -\infty < z < \infty \] 标准正态分布的累积分布函数记为 \(\Phi(z) = P(Z \le z) = \int_{-\infty}^{z} \phi(t) dt\)。 要点: ① PDF 和 CDF 符号：标准正态分布的 PDF 通常用 \(\phi(z)\) 表示，CDF 用 \(\Phi(z)\) 表示。 Z-分数 (Z-score) 对于任意正态分布 \(X \sim N(\mu, \sigma^2)\)，可以通过标准化变换将其转换为标准正态分布 \(Z\)。转换公式为： \[ Z = \frac{X - \mu}{\sigma} \] \(Z\) 值称为 Z-分数，表示原始数据 \(X\) 偏离均值 \(\mu\) 的标准差个数。通过 Z-分数，可以将任何正态分布的概率计算问题转化为标准正态分布的概率计算问题。 例如，若 \(X \sim N(\mu, \sigma^2)\)，求 \(P(X \le x)\)，可以先计算 Z-分数 \(z = \frac{x - \mu}{\sigma}\)，然后 \(P(X \le x) = P(Z \le z) = \Phi(z)\)。 性质: ① 线性变换不变性：如果 \(X \sim N(\mu, \sigma^2)\)，且 \(a\) 和 \(b\) 是常数，则 \(Y = aX + b \sim N(a\mu + b, a^2\sigma^2)\)。 应用场景: ⚝ 自然现象：许多自然现象，如身高、体重、血压、测量误差等，近似服从正态分布。 示例 5.3.1 (身高分布) 假设成年男性身高服从正态分布 \(N(175 \text{ cm}, (7 \text{ cm})^2)\)。 ⚝ 身高超过 180 cm 的男性比例是多少？ 参考文献: ⚝ Sheldon Ross. Introduction to Probability Models. Academic Press, 2019. 伽马分布（Gamma Distribution）是一族非常灵活的连续概率分布，它由两个参数控制形状和尺度。伽马分布常用于描述等待事件发生的时间，特别是当事件不是瞬间发生，而是需要累积一定量才能发生时。它在统计学、物理学、工程学、金融学等领域都有广泛应用。 定义 5.4.1 (伽马分布) 若连续型随机变量 \(X\) 的概率密度函数为： \[ f(x) = \begin{cases} \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} & \text{for } x \ge 0 \\ 0 & \text{for } x < 0 \end{cases} \] 其中 \(\alpha > 0\) 是形状参数（shape parameter），\(\beta > 0\) 是速率参数（rate parameter），\(\Gamma(\alpha) = \int_{0}^{\infty} t^{\alpha-1} e^{-t} dt\) 是伽马函数（Gamma function）。则称 \(X\) 服从参数为 \(\alpha\) 和 \(\beta\) 的伽马分布，记作 \(X \sim Gamma(\alpha, \beta)\)。有时也使用尺度参数 \(\theta = 1/\beta\) 来表示，记作 \(X \sim Gamma(\alpha, \theta)\)，此时 PDF 为 \(f(x) = \frac{1}{\Gamma(\alpha) \theta^\alpha} x^{\alpha-1} e^{-x/\theta}\)。 要点: ① 参数：伽马分布由形状参数 \(\alpha\) 和速率参数 \(\beta\) (或尺度参数 \(\theta\)) 确定。形状参数 \(\alpha\) 影响分布的形状，速率参数 \(\beta\) 影响分布的尺度。 \[ E[X] = \frac{\alpha}{\beta} = \alpha \theta \] ⑤ 方差 (Variance)：伽马分布的方差 \(Var(X)\) 为： \[ Var(X) = \frac{\alpha}{\beta^2} = \alpha \theta^2 \] ⑥ 形状参数 \(\alpha\) 的影响： 应用场景: ⚝ 等待时间模型：描述一系列独立事件发生所需的总时间，例如，在泊松过程中，第 \(\alpha\) 次事件发生的时间服从伽马分布。 与指数分布和泊松分布的关系: ⚝ 与指数分布的关系：当形状参数 \(\alpha = 1\) 时，伽马分布 \(Gamma(1, \beta)\) 退化为指数分布 \(Exp(\beta)\)。因此，指数分布是伽马分布的一个特例。 示例 5.4.1 (排队等待时间) 假设在一个呼叫中心，平均每分钟接到 0.5 个电话（\(\beta = 0.5\)，单位为分钟\(^{-1}\)）。假设电话到达服从泊松过程。 ⚝ 第三个电话在 5 分钟后到达的概率密度是多少？ 参考文献: ⚝ Sheldon Ross. Introduction to Probability Models. Academic Press, 2019. 贝塔分布（Beta Distribution）是定义在 \([0, 1]\) 区间上的连续概率分布，由两个正参数 \(\alpha\) 和 \(\beta\) 控制形状。贝塔分布非常灵活，可以呈现多种不同的形状，包括均匀分布、U 形、J 形、钟形等，因此在统计学中被广泛用于建模比例、百分比、概率等取值在有限区间 \([0, 1]\) 内的随机变量。 定义 5.5.1 (贝塔分布) 若连续型随机变量 \(X\) 的概率密度函数为： \[ f(x) = \begin{cases} \frac{1}{B(\alpha, \beta)} x^{\alpha-1} (1-x)^{\beta-1} & \text{for } 0 \le x \le 1 \\ 0 & \text{otherwise} \end{cases} \] 其中 \(\alpha > 0\) 和 \(\beta > 0\) 是形状参数，\(B(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)} = \int_{0}^{1} t^{\alpha-1} (1-t)^{\beta-1} dt\) 是贝塔函数（Beta function），\(\Gamma(\cdot)\) 是伽马函数。则称 \(X\) 服从参数为 \(\alpha\) 和 \(\beta\) 的贝塔分布，记作 \(X \sim Beta(\alpha, \beta)\)。 要点: ① 参数：贝塔分布由两个形状参数 \(\alpha > 0\) 和 \(\beta > 0\) 确定。这两个参数共同决定了分布的形状。 \[ E[X] = \frac{\alpha}{\alpha + \beta} \] ⑤ 方差 (Variance)：贝塔分布的方差 \(Var(X)\) 为： \[ Var(X) = \frac{\alpha \beta}{(\alpha + \beta)^2 (\alpha + \beta + 1)} \] ⑥ 形状参数 \(\alpha\) 和 \(\beta\) 的影响： 应用场景: ⚝ 建模比例和概率：贝塔分布自然地适用于建模取值在 \([0, 1]\) 区间的随机变量，如成功率、百分比、比例、概率等。 与二项分布的关系: 贝塔分布与二项分布在贝叶斯统计中有着密切的联系。如果先验概率 \(p\) 服从贝塔分布 \(Beta(\alpha, \beta)\)，并且进行了 \(n\) 次伯努利试验，观察到 \(k\) 次成功，那么后验概率 \(p \mid \text{data}\) 仍然服从贝塔分布 \(Beta(\alpha + k, \beta + n - k)\)。这种性质使得贝塔分布成为二项分布的共轭先验分布，简化了贝叶斯推断的计算。 示例 5.5.1 (产品合格率) 假设一批产品的合格率 \(p\) 服从贝塔分布 \(Beta(2, 2)\)。 ⚝ 产品合格率的期望值是多少？ 参考文献: ⚝ Sheldon Ross. Introduction to Probability Models. Academic Press, 2019. 数学期望 (Expectation)，又称均值 (Mean) 或期望值，是概率论中最重要的数字特征之一。它描述了随机变量取值的平均水平，从直观上看，期望值可以理解为随机变量所有可能取值的加权平均，权重由其对应的概率分布给出。数学期望在统计推断、决策理论、金融分析等领域都有着广泛的应用。 对于离散型随机变量 \(X\)，其所有可能的取值是有限个或可列个，设为 \(x_1, x_2, \ldots\)，对应的概率为 \(P(X=x_i) = p_i\)。离散型随机变量 \(X\) 的数学期望 \(E(X)\) 定义为： \[ E(X) = \sum_{i} x_i p_i = \sum_{i} x_i P(X=x_i) \] 其中，求和符号 \(\sum_{i}\) 表示对 \(X\) 的所有可能取值进行求和。为了保证数学期望存在，需要满足级数 \(\sum_{i} |x_i| p_i\) 收敛。如果该级数发散，则称 \(X\) 的数学期望不存在。但在实际应用中，我们通常遇到的离散型随机变量的期望都是存在的。 直观理解 可以将离散型随机变量的期望理解为“长期平均值”。想象一个重复多次的随机实验，每次实验的结果是随机变量 \(X\) 的一个取值。当实验次数足够多时，所有观测值的算术平均值会趋近于 \(X\) 的数学期望。 案例 6.1.1：抛掷骰子的期望 考虑一个公平的六面骰子，其点数 \(X\) 是一个离散型随机变量，可能的取值为 \(1, 2, 3, 4, 5, 6\)，每个取值的概率均为 \(1/6\)。那么，骰子点数 \(X\) 的数学期望为： \[ E(X) = 1 \times \frac{1}{6} + 2 \times \frac{1}{6} + 3 \times \frac{1}{6} + 4 \times \frac{1}{6} + 5 \times \frac{1}{6} + 6 \times \frac{1}{6} = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = 3.5 \] 这意味着，如果多次抛掷这个骰子，平均每次得到的点数将接近 3.5。 案例 6.1.2：伯努利分布的期望 设随机变量 \(X\) 服从伯努利分布 (Bernoulli Distribution)，即 \(X \sim Bernoulli(p)\)，其中 \(P(X=1) = p\)，\(P(X=0) = 1-p\)。那么，\(X\) 的数学期望为： \[ E(X) = 1 \times P(X=1) + 0 \times P(X=0) = 1 \times p + 0 \times (1-p) = p \] 这表明，伯努利分布的期望值就是成功事件发生的概率 \(p\)。 案例 6.1.3：二项分布的期望 设随机变量 \(X\) 服从二项分布 (Binomial Distribution)，即 \(X \sim Binomial(n, p)\)，表示在 \(n\) 次独立的伯努利试验中，成功的次数。我们知道，二项分布的概率质量函数 (Probability Mass Function, PMF) 为： \[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, \ldots, n \] 那么，\(X\) 的数学期望为： \[ E(X) = \sum_{k=0}^{n} k \binom{n}{k} p^k (1-p)^{n-k} \] 通过一些代数运算（此处省略推导过程，详细推导可参考相关概率论教材 [Sheldon Ross, 2019]），可以得到二项分布的期望为： \[ E(X) = np \] 这表明，在 \(n\) 次伯努利试验中，平均成功的次数为 \(np\)，这与直觉也是相符的。 对于连续型随机变量 \(X\)，其取值范围是连续的，用概率密度函数 (Probability Density Function, PDF) \(f(x)\) 描述其概率分布。连续型随机变量 \(X\) 的数学期望 \(E(X)\) 定义为： \[ E(X) = \int_{-\infty}^{\infty} x f(x) dx \] 其中，积分符号 \(\int_{-\infty}^{\infty}\) 表示对 \(X\) 的所有可能取值范围进行积分。为了保证数学期望存在，需要满足积分 \(\int_{-\infty}^{\infty} |x| f(x) dx\) 收敛。如果该积分发散，则称 \(X\) 的数学期望不存在。在实际应用中，我们通常遇到的连续型随机变量的期望都是存在的。 直观理解 类似于离散型随机变量，连续型随机变量的期望也可以理解为“长期平均值”。虽然对于连续型随机变量，我们无法直接进行重复实验，但可以想象从该分布中抽取大量样本，这些样本的算术平均值会趋近于 \(X\) 的数学期望。 案例 6.1.4：均匀分布的期望 设随机变量 \(X\) 服从区间 \([a, b]\) 上的均匀分布 (Uniform Distribution)，即 \(X \sim Uniform(a, b)\)。其概率密度函数为： \[ f(x) = \begin{cases} \frac{1}{b-a}, & a \le x \le b \\ 0, & \text{otherwise} \end{cases} \] 那么，\(X\) 的数学期望为： \[ E(X) = \int_{-\infty}^{\infty} x f(x) dx = \int_{a}^{b} x \frac{1}{b-a} dx = \frac{1}{b-a} \int_{a}^{b} x dx = \frac{1}{b-a} \left[ \frac{x^2}{2} \right]_{a}^{b} = \frac{1}{b-a} \frac{b^2 - a^2}{2} = \frac{a+b}{2} \] 这表明，均匀分布的期望值是区间 \([a, b]\) 的中点，这符合均匀分布的对称性。 案例 6.1.5：指数分布的期望 设随机变量 \(X\) 服从参数为 \(\lambda > 0\) 的指数分布 (Exponential Distribution)，即 \(X \sim Exponential(\lambda)\)。其概率密度函数为： \[ f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \ge 0 \\ 0, & x < 0 \end{cases} \] 那么，\(X\) 的数学期望为： \[ E(X) = \int_{-\infty}^{\infty} x f(x) dx = \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \] 利用分部积分法，可以计算得到： \[ E(X) = \frac{1}{\lambda} \] 指数分布常用于描述等待时间，其期望值 \(1/\lambda\) 可以理解为平均等待时间。 总结 无论是离散型还是连续型随机变量，数学期望都反映了随机变量取值的中心位置。对于离散型随机变量，期望是所有可能取值的加权平均；对于连续型随机变量，期望是通过积分计算得到的平均值。理解数学期望的概念和计算方法，是深入学习概率论和统计学的关键一步。 方差 (Variance) 和标准差 (Standard Deviation) 是描述随机变量取值分散程度的重要数字特征。数学期望描述了随机变量的中心位置，而方差和标准差则描述了随机变量取值相对于中心位置的偏离程度。方差越大，随机变量的取值越分散；方差越小，随机变量的取值越集中在期望值附近。标准差是方差的平方根，与随机变量的单位相同，更易于解释和比较。 定义 对于随机变量 \(X\)，其方差 \(Var(X)\) 定义为： \[ Var(X) = E[(X - E(X))^2] \] 标准差 \(SD(X)\) 定义为方差的平方根： \[ SD(X) = \sqrt{Var(X)} \] 计算公式 根据期望的线性性质，方差可以进一步简化计算： \[ Var(X) = E[(X - E(X))^2] = E[X^2 - 2XE(X) + (E(X))^2] = E(X^2) - 2E(X)E(X) + (E(X))^2 = E(X^2) - (E(X))^2 \] 因此，计算方差的关键是计算 \(E(X^2)\) 和 \(E(X)\)。 ⚝ 离散型随机变量的方差 对于离散型随机变量 \(X\)，其方差计算公式为： \[ Var(X) = \sum_{i} (x_i - E(X))^2 P(X=x_i) = E(X^2) - (E(X))^2 = \sum_{i} x_i^2 P(X=x_i) - \left( \sum_{i} x_i P(X=x_i) \right)^2 \] ⚝ 连续型随机变量的方差 对于连续型随机变量 \(X\)，其方差计算公式为： \[ Var(X) = \int_{-\infty}^{\infty} (x - E(X))^2 f(x) dx = E(X^2) - (E(X))^2 = \int_{-\infty}^{\infty} x^2 f(x) dx - \left( \int_{-\infty}^{\infty} x f(x) dx \right)^2 \] 案例 6.2.1：抛掷骰子的方差与标准差 对于抛掷骰子的例子，我们已经计算得到 \(E(X) = 3.5\)。现在计算 \(E(X^2)\)： \[ E(X^2) = 1^2 \times \frac{1}{6} + 2^2 \times \frac{1}{6} + 3^2 \times \frac{1}{6} + 4^2 \times \frac{1}{6} + 5^2 \times \frac{1}{6} + 6^2 \times \frac{1}{6} = \frac{1+4+9+16+25+36}{6} = \frac{91}{6} \] 因此，方差为： \[ Var(X) = E(X^2) - (E(X))^2 = \frac{91}{6} - (3.5)^2 = \frac{91}{6} - \frac{49}{4} = \frac{182 - 147}{12} = \frac{35}{12} \approx 2.9167 \] 标准差为： \[ SD(X) = \sqrt{Var(X)} = \sqrt{\frac{35}{12}} \approx 1.7078 \] 案例 6.2.2：指数分布的方差与标准差 对于参数为 \(\lambda\) 的指数分布，我们已经计算得到 \(E(X) = 1/\lambda\)。现在计算 \(E(X^2)\)： \[ E(X^2) = \int_{0}^{\infty} x^2 \lambda e^{-\lambda x} dx \] 利用分部积分法（两次），可以计算得到： \[ E(X^2) = \frac{2}{\lambda^2} \] 因此，方差为： \[ Var(X) = E(X^2) - (E(X))^2 = \frac{2}{\lambda^2} - \left( \frac{1}{\lambda} \right)^2 = \frac{1}{\lambda^2} \] 标准差为： \[ SD(X) = \sqrt{Var(X)} = \sqrt{\frac{1}{\lambda^2}} = \frac{1}{\lambda} \] 对于指数分布，其期望和标准差相等，均为 \(1/\lambda\)。 切比雪夫不等式 (Chebyshev's Inequality) 方差和标准差的一个重要应用是切比雪夫不等式，它给出了随机变量取值偏离期望值一定距离的概率上限。对于任意随机变量 \(X\) 和任意 \(k > 0\)，切比雪夫不等式为： \[ P(|X - E(X)| \ge k \cdot SD(X)) \le \frac{1}{k^2} \] 或者等价地， \[ P(|X - E(X)| < k \cdot SD(X)) \ge 1 - \frac{1}{k^2} \] 切比雪夫不等式表明，随机变量取值偏离期望值超过 \(k\) 个标准差的概率不会超过 \(1/k^2\)。例如，当 \(k=2\) 时，随机变量取值在期望值正负两个标准差范围之外的概率不超过 \(1/4 = 25\%\)；当 \(k=3\) 时，该概率不超过 \(1/9 \approx 11.1\%\)。切比雪夫不等式是一个非常通用的结果，对任何分布都成立，但其给出的界限通常比较宽松。对于特定分布，可以得到更精确的概率估计。 总结 方差和标准差是衡量随机变量波动性的重要指标。方差越大，波动性越大；方差越小，波动性越小。标准差与随机变量的单位相同，更易于解释。切比雪夫不等式将方差与概率联系起来，为我们理解随机变量的分布提供了有用的工具。 矩 (Moment) 是描述随机变量分布形状的更一般的数字特征。期望和方差可以看作是矩的特殊形式。偏度 (Skewness) 和峰度 (Kurtosis) 是基于矩的概念，用于描述分布的对称性和尾部厚度。 矩 (Moment) 随机变量 \(X\) 的 \(k\) 阶原点矩 (raw moment) 定义为： \[ E(X^k) \] 随机变量 \(X\) 的 \(k\) 阶中心矩 (central moment) 定义为： \[ E[(X - E(X))^k] \] ⚝ 一阶原点矩：\(E(X)\)，即数学期望。 高阶矩可以提供关于分布形状的更多信息。 偏度 (Skewness) 偏度是描述分布对称性的指标。它衡量分布相对于均值的偏斜程度。偏度通常定义为三阶标准化矩 (standardized moment)： \[ Skewness(X) = \frac{E[(X - E(X))^3]}{[Var(X)]^{3/2}} = \frac{E[(X - \mu)^3]}{\sigma^3} \] 其中，\(\mu = E(X)\)，\(\sigma^2 = Var(X)\)。 ⚝ 偏度为 0：分布对称，例如正态分布。 峰度 (Kurtosis) 峰度是描述分布峰值尖峭程度和尾部厚度的指标。峰度通常定义为四阶标准化矩： \[ Kurtosis(X) = \frac{E[(X - E(X))^4]}{[Var(X)]^{2}} = \frac{E[(X - \mu)^4]}{\sigma^4} \] 有时也使用超额峰度 (excess kurtosis)，定义为 \(Kurtosis(X) - 3\)，以正态分布的峰度 3 作为基准。 ⚝ 峰度为 3 (超额峰度为 0)：正态分布的峰度。 案例 6.3.1：正态分布的偏度和峰度 正态分布 (Normal Distribution) 是完全对称的分布，其偏度为 0。正态分布的峰度为 3 (超额峰度为 0)。 案例 6.3.2：指数分布的偏度和峰度 指数分布 (Exponential Distribution) 是典型的右偏分布，其偏度为 2。指数分布的峰度为 9 (超额峰度为 6)，远大于正态分布，表明其尾部比正态分布更厚重。 应用 偏度和峰度在金融风险管理、信号处理、图像分析等领域有重要应用。例如，在金融领域，资产收益率的偏度和峰度可以帮助投资者了解收益分布的非对称性和极端风险。 总结 矩、偏度和峰度是描述随机变量分布形状的重要数字特征。矩是更一般的概念，期望和方差是其特殊形式。偏度描述分布的对称性，峰度描述分布的尖峭程度和尾部厚度。这些特征可以帮助我们更全面地理解随机变量的分布特性。 协方差 (Covariance) 和相关系数 (Correlation Coefficient) 是描述两个随机变量之间线性关系强度的数字特征。之前的数字特征都是针对单个随机变量而言的，而协方差和相关系数则用于分析两个或多个随机变量之间的相互关系。 协方差 (Covariance) 对于两个随机变量 \(X\) 和 \(Y\)，它们的协方差 \(Cov(X, Y)\) 定义为： \[ Cov(X, Y) = E[(X - E(X))(Y - E(Y))] \] 协方差衡量了 \(X\) 和 \(Y\) 的联合变动方向。 ⚝ \(Cov(X, Y) > 0\)：\(X\) 和 \(Y\) 正相关，即 \(X\) 增大时，\(Y\) 倾向于也增大；\(X\) 减小时，\(Y\) 倾向于也减小。 计算公式 协方差的计算公式可以简化为： \[ Cov(X, Y) = E[(X - E(X))(Y - E(Y))] = E[XY - XE(Y) - YE(X) + E(X)E(Y)] = E(XY) - E(X)E(Y) - E(Y)E(X) + E(X)E(Y) = E(XY) - E(X)E(Y) \] 因此，计算协方差的关键是计算 \(E(XY)\)，\(E(X)\) 和 \(E(Y)\)。 ⚝ 离散型随机变量的协方差 \[ Cov(X, Y) = \sum_{i} \sum_{j} (x_i - E(X))(y_j - E(Y)) P(X=x_i, Y=y_j) = E(XY) - E(X)E(Y) = \sum_{i} \sum_{j} x_i y_j P(X=x_i, Y=y_j) - \left( \sum_{i} x_i P(X=x_i) \right) \left( \sum_{j} y_j P(Y=y_j) \right) \] ⚝ 连续型随机变量的协方差 \[ Cov(X, Y) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x - E(X))(y - E(Y)) f(x, y) dx dy = E(XY) - E(X)E(Y) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} xy f(x, y) dx dy - \left( \int_{-\infty}^{\infty} x f_X(x) dx \right) \left( \int_{-\infty}^{\infty} y f_Y(y) dy \right) \] 其中，\(f(x, y)\) 是 \(X\) 和 \(Y\) 的联合概率密度函数，\(f_X(x)\) 和 \(f_Y(y)\) 分别是 \(X\) 和 \(Y\) 的边缘概率密度函数。 相关系数 (Correlation Coefficient) 协方差的大小受到随机变量单位的影响，不便于直接比较不同变量之间的相关程度。为了消除单位的影响，引入相关系数 \(\rho(X, Y)\) 或 \(Corr(X, Y)\)，也称为皮尔逊相关系数 (Pearson correlation coefficient)： \[ \rho(X, Y) = Corr(X, Y) = \frac{Cov(X, Y)}{\sqrt{Var(X)Var(Y)}} = \frac{Cov(X, Y)}{SD(X)SD(Y)} \] 相关系数是标准化的协方差，取值范围在 \([-1, 1]\) 之间。 ⚝ \(\rho(X, Y) = 1\)：完全正线性相关。 案例 6.4.1：身高和体重的相关性 一般来说，身高和体重是正相关的。身高较高的人，体重也倾向于较重。它们的协方差为正，相关系数也为正，且接近于 1，表明它们之间存在较强的正线性相关关系。 案例 6.4.2：股票收益率与利率的相关性 在某些情况下，股票收益率与利率可能存在负相关关系。当利率上升时，股票市场可能下跌，反之亦然。它们的协方差为负，相关系数也为负，表明它们之间可能存在负线性相关关系。 注意事项 ⚝ 相关系数只度量线性相关性，不能反映非线性相关性。即使相关系数为 0，两个变量也可能存在非线性关系。 总结 协方差和相关系数是描述两个随机变量之间线性关系的重要数字特征。协方差衡量了联合变动方向，相关系数是标准化的协方差，取值范围在 \([-1, 1]\) 之间，更易于比较不同变量之间的相关程度。理解协方差和相关系数，有助于我们分析和建模随机变量之间的相互依赖关系。 数学期望具有许多重要的性质，这些性质在概率论和统计学的理论推导和实际应用中都非常有用。掌握这些性质可以简化期望的计算，并帮助我们更好地理解期望的含义。 线性性质 (Linearity of Expectation) 期望算子是线性的。对于任意随机变量 \(X, Y\) 和常数 \(a, b\)，有： \[ E(aX + bY) = aE(X) + bE(Y) \] 更一般地，对于多个随机变量 \(X_1, X_2, \ldots, X_n\) 和常数 \(a_1, a_2, \ldots, a_n\)，有： \[ E\left( \sum_{i=1}^{n} a_i X_i \right) = \sum_{i=1}^{n} a_i E(X_i) \] 常数的期望 对于常数 \(c\)，其期望等于自身： \[ E(c) = c \] 非负随机变量的期望 如果随机变量 \(X \ge 0\) (几乎处处成立)，则 \(E(X) \ge 0\)。 单调性 如果 \(X \le Y\) (几乎处处成立)，则 \(E(X) \le E(Y)\)。 独立随机变量乘积的期望 如果随机变量 \(X\) 和 \(Y\) 相互独立，则： \[ E(XY) = E(X)E(Y) \] 注意，反之不成立。即 \(E(XY) = E(X)E(Y)\) 不能推出 \(X\) 和 \(Y\) 独立，只能说明 \(X\) 和 \(Y\) 不相关 (线性不相关)。 期望的迭代期望公式 (Law of Iterated Expectation, LIE) 或全期望公式 (Law of Total Expectation) 设 \(X\) 和 \(Y\) 是随机变量，则： \[ E(X) = E[E(X|Y)] \] 其中，\(E(X|Y)\) 是在给定 \(Y\) 的条件下 \(X\) 的条件期望，它是一个关于 \(Y\) 的随机变量。迭代期望公式将计算 \(X\) 的期望分解为先计算条件期望 \(E(X|Y)\)，再对 \(Y\) 求期望。这个公式在复杂随机变量的期望计算中非常有用。 期望的计算方法总结 案例 6.5.1：二项分布期望的另一种计算方法 设 \(X \sim Binomial(n, p)\)，可以将 \(X\) 表示为 \(n\) 个独立同分布的伯努利随机变量之和：\(X = \sum_{i=1}^{n} X_i\)，其中 \(X_i \sim Bernoulli(p)\)。利用期望的线性性质和伯努利分布的期望 \(E(X_i) = p\)，可以得到： \[ E(X) = E\left( \sum_{i=1}^{n} X_i \right) = \sum_{i=1}^{n} E(X_i) = \sum_{i=1}^{n} p = np \] 这种方法比直接使用二项分布的期望公式更简洁。 案例 6.5.2：利用迭代期望公式计算期望 假设在一个游戏中，你先掷一枚硬币，如果正面朝上，你再掷一个六面骰子，得到的点数是你的得分；如果反面朝上，你的得分是 0。求你的平均得分。 设 \(Y\) 表示硬币的结果，\(Y=1\) 表示正面朝上，\(Y=0\) 表示反面朝上，\(P(Y=1) = P(Y=0) = 1/2\)。设 \(X\) 表示你的得分。当 \(Y=1\) 时，\(X\) 服从均匀分布 \(Uniform\{1, 2, 3, 4, 5, 6\}\)，\(E(X|Y=1) = 3.5\)。当 \(Y=0\) 时，\(X=0\)，\(E(X|Y=0) = 0\)。 利用迭代期望公式： \[ E(X) = E[E(X|Y)] = E(X|Y=1)P(Y=1) + E(X|Y=0)P(Y=0) = 3.5 \times \frac{1}{2} + 0 \times \frac{1}{2} = 1.75 \] 因此，你的平均得分是 1.75。 总结 掌握期望的性质和计算方法，可以帮助我们更有效地分析和解决概率问题。线性性质、独立性、迭代期望公式等是计算期望的有力工具。在实际应用中，需要根据具体问题选择合适的计算方法。 在单变量随机变量的学习中，我们使用分布函数 (Cumulative Distribution Function, CDF) 来描述随机变量取值小于或等于某个特定值的概率。当涉及到多个随机变量时，我们需要扩展这一概念来描述这些随机变量同时取特定值范围的概率。联合分布函数 (Joint Distribution Function) 就是用于描述多个随机变量联合概率分布的关键工具。 对于 \( n \) 个随机变量 \( X_1, X_2, \ldots, X_n \)，它们的联合分布函数 \( F(x_1, x_2, \ldots, x_n) \) 定义为： \[ F(x_1, x_2, \ldots, x_n) = P(X_1 \leq x_1, X_2 \leq x_2, \ldots, X_n \leq x_n) \] 其中，\( x_1, x_2, \ldots, x_n \) 是实数。联合分布函数给出了随机向量 \( (X_1, X_2, \ldots, X_n) \) 落在 \( n \) 维空间中以 \( (x_1, x_2, \ldots, x_n) \) 为上限的超矩形区域内的概率。 联合分布函数的性质： ① 单调不减性 (Monotonically Non-decreasing)：对于任意 \( i \in \{1, 2, \ldots, n\} \)，当 \( x_i \) 增大时，保持其他 \( x_j \) ( \( j \neq i \) ) 不变，\( F(x_1, x_2, \ldots, x_n) \) 是单调不减的。也就是说，如果 \( x'_i > x_i \)，则 \[ F(x_1, \ldots, x_i', \ldots, x_n) \geq F(x_1, \ldots, x_i, \ldots, x_n) \] ② 右连续性 (Right-Continuity)：对于每个变量 \( x_i \)，\( F(x_1, x_2, \ldots, x_n) \) 关于 \( x_i \) 是右连续的。即 \[ \lim_{h \to 0^+} F(x_1, \ldots, x_i + h, \ldots, x_n) = F(x_1, \ldots, x_i, \ldots, x_n) \] ③ 取值范围 (Range)：联合分布函数的值域在 \( [0, 1] \) 之间。 \[ 0 \leq F(x_1, x_2, \ldots, x_n) \leq 1 \] ④ 极限性质 (Limit Properties)： ⚝ 当所有 \( x_i \to \infty \) 时，联合分布函数趋近于 1。 \[ \lim_{x_1, x_2, \ldots, x_n \to \infty} F(x_1, x_2, \ldots, x_n) = 1 \] ⚝ 当至少有一个 \( x_i \to -\infty \) 时，联合分布函数趋近于 0。 \[ \lim_{x_i \to -\infty} F(x_1, x_2, \ldots, x_n) = 0, \quad \text{for any } i \in \{1, 2, \ldots, n\} \] 二维随机变量的联合分布函数： 对于两个随机变量 \( X \) 和 \( Y \)，它们的联合分布函数 \( F(x, y) \) 定义为： \[ F(x, y) = P(X \leq x, Y \leq y) \] 二维联合分布函数 \( F(x, y) \) 具有类似的性质，例如关于 \( x \) 和 \( y \) 都是单调不减和右连续的，且 \( 0 \leq F(x, y) \leq 1 \)。 使用联合分布函数计算概率： 联合分布函数可以用来计算随机向量落在特定区域的概率。例如，对于二维随机变量 \( (X, Y) \)，计算 \( a < X \leq b \) 且 \( c < Y \leq d \) 的概率，可以使用联合分布函数表示为： \[ P(a < X \leq b, c < Y \leq d) = F(b, d) - F(a, d) - F(b, c) + F(a, c) \] 这个公式是二维情况下使用联合分布函数计算矩形区域概率的基本方法，可以推广到更高维度。 案例分析： 假设随机变量 \( X \) 表示某城市一天的最高温度，\( Y \) 表示同一天最低温度。它们的联合分布函数 \( F(x, y) \) 可以用来描述最高温度不超过 \( x \) 且最低温度不超过 \( y \) 的概率。通过联合分布函数，我们可以计算例如 "最高温度在 25°C 到 30°C 之间，且最低温度在 15°C 到 20°C 之间" 这样的联合事件的概率。 总结： 联合分布函数是描述多维随机变量概率分布的基础工具。它扩展了单变量分布函数的概念，提供了计算多维随机事件概率的方法。理解联合分布函数的定义和性质是深入研究多维随机变量的关键步骤。 边缘分布 (Marginal Distribution) 是从多维随机变量的联合分布中提取出的单个随机变量的分布。简单来说，如果我们知道一组随机变量的联合行为，边缘分布就告诉我们其中某个特定随机变量的行为，而忽略其他变量的影响。 考虑二维随机变量 \( (X, Y) \) 及其联合分布函数 \( F(x, y) = P(X \leq x, Y \leq y) \)。我们想要得到随机变量 \( X \) 的分布函数 \( F_X(x) = P(X \leq x) \)。为了实现这一点，我们需要考虑 \( Y \) 取遍所有可能值的情况。从联合分布函数的定义出发，当 \( Y \) 取遍所有可能值，即 \( Y \to \infty \) 时，事件 \( \{Y \leq \infty\} \) 必然发生，因此 \( P(Y \leq \infty) = 1 \)。所以，\( X \) 的边缘分布函数 \( F_X(x) \) 可以通过以下方式从联合分布函数 \( F(x, y) \) 中得到： \[ F_X(x) = P(X \leq x) = P(X \leq x, Y \leq \infty) = \lim_{y \to \infty} F(x, y) \] 同理，\( Y \) 的边缘分布函数 \( F_Y(y) \) 可以通过让 \( X \to \infty \) 得到： \[ F_Y(y) = P(Y \leq y) = P(X \leq \infty, Y \leq y) = \lim_{x \to \infty} F(x, y) \] 对于 \( n \) 维随机变量 \( (X_1, X_2, \ldots, X_n) \) 及其联合分布函数 \( F(x_1, x_2, \ldots, x_n) \)，要得到例如 \( X_1 \) 的边缘分布函数 \( F_{X_1}(x_1) \)，我们需要让其他所有变量 \( X_2, \ldots, X_n \) 都趋于无穷大： \[ F_{X_1}(x_1) = \lim_{x_2, \ldots, x_n \to \infty} F(x_1, x_2, \ldots, x_n) \] 更一般地，要得到子集 \( \{X_{i_1}, X_{i_2}, \ldots, X_{i_k}\} \) 的联合边缘分布函数，我们需要让所有不在这个子集中的变量趋于无穷大。 边缘概率质量函数 (PMF) 和边缘概率密度函数 (PDF)： 如果 \( (X, Y) \) 是离散型随机变量，其联合概率质量函数为 \( P(X=x, Y=y) = p(x, y) \)。则 \( X \) 的边缘概率质量函数 \( p_X(x) \) 可以通过对 \( y \) 求和得到： \[ p_X(x) = P(X=x) = \sum_{y} P(X=x, Y=y) = \sum_{y} p(x, y) \] 类似地，\( Y \) 的边缘概率质量函数 \( p_Y(y) \) 为： \[ p_Y(y) = P(Y=y) = \sum_{x} P(X=x, Y=y) = \sum_{x} p(x, y) \] 如果 \( (X, Y) \) 是连续型随机变量，其联合概率密度函数为 \( f(x, y) \)。则 \( X \) 的边缘概率密度函数 \( f_X(x) \) 可以通过对 \( y \) 积分得到： \[ f_X(x) = \int_{-\infty}^{\infty} f(x, y) \, dy \] 类似地，\( Y \) 的边缘概率密度函数 \( f_Y(y) \) 为： \[ f_Y(y) = \int_{-\infty}^{\infty} f(x, y) \, dx \] 案例分析： 假设 \( (X, Y) \) 的联合概率质量函数如下： 为了找到 \( X \) 的边缘概率质量函数 \( p_X(x) \)，我们对每一行求和： ⚝ \( p_X(1) = P(X=1) = P(X=1, Y=1) + P(X=1, Y=2) + P(X=1, Y=3) = 0.1 + 0.2 + 0.1 = 0.4 \) 因此，\( X \) 的边缘分布为 \( P(X=1) = 0.4, P(X=2) = 0.6 \)。 为了找到 \( Y \) 的边缘概率质量函数 \( p_Y(y) \)，我们对每一列求和： ⚝ \( p_Y(1) = P(Y=1) = P(X=1, Y=1) + P(X=2, Y=1) = 0.1 + 0.15 = 0.25 \) 因此，\( Y \) 的边缘分布为 \( P(Y=1) = 0.25, P(Y=2) = 0.45, P(Y=3) = 0.3 \)。 总结： 边缘分布是从联合分布中提取单个随机变量分布的重要概念。通过对联合分布函数取极限，或者对联合概率质量函数/密度函数进行求和/积分，我们可以得到边缘分布。边缘分布帮助我们理解多维随机变量中每个变量自身的概率行为。 条件分布 (Conditional Distribution) 描述在给定某些事件发生的前提下，随机变量的概率分布。在多维随机变量的背景下，条件分布关注的是在已知某些随机变量取特定值或落在特定区域的条件下，其他随机变量的分布情况。 考虑二维随机变量 \( (X, Y) \)。我们想要研究在给定 \( Y = y \) 的条件下，\( X \) 的分布。这被称为 \( X \) 在给定 \( Y = y \) 下的条件分布。 条件概率质量函数 (PMF)： 如果 \( (X, Y) \) 是离散型随机变量，其联合概率质量函数为 \( p(x, y) = P(X=x, Y=y) \)，且 \( Y \) 的边缘概率质量函数为 \( p_Y(y) = P(Y=y) \)。当 \( p_Y(y) > 0 \) 时，\( X \) 在给定 \( Y = y \) 下的条件概率质量函数 \( p_{X|Y}(x|y) \) 定义为： \[ p_{X|Y}(x|y) = P(X=x | Y=y) = \frac{P(X=x, Y=y)}{P(Y=y)} = \frac{p(x, y)}{p_Y(y)} \] 同样，\( Y \) 在给定 \( X = x \) 下的条件概率质量函数 \( p_{Y|X}(y|x) \) 定义为（当 \( p_X(x) > 0 \) 时）： \[ p_{Y|X}(y|x) = P(Y=y | X=x) = \frac{P(X=x, Y=y)}{P(X=x)} = \frac{p(x, y)}{p_X(x)} \] 条件概率密度函数 (PDF)： 如果 \( (X, Y) \) 是连续型随机变量，其联合概率密度函数为 \( f(x, y) \)，且 \( Y \) 的边缘概率密度函数为 \( f_Y(y) \)。当 \( f_Y(y) > 0 \) 时，\( X \) 在给定 \( Y = y \) 下的条件概率密度函数 \( f_{X|Y}(x|y) \) 定义为： \[ f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)} \] 同样，\( Y \) 在给定 \( X = x \) 下的条件概率密度函数 \( f_{Y|X}(y|x) \) 定义为（当 \( f_X(x) > 0 \) 时）： \[ f_{Y|X}(y|x) = \frac{f(x, y)}{f_X(x)} \] 条件分布函数 (CDF)： \( X \) 在给定 \( Y = y \) 下的条件分布函数 \( F_{X|Y}(x|y) \) 定义为： \[ F_{X|Y}(x|y) = P(X \leq x | Y=y) \] 对于连续型随机变量，条件分布函数可以通过条件概率密度函数积分得到： \[ F_{X|Y}(x|y) = \int_{-\infty}^{x} f_{X|Y}(t|y) \, dt = \int_{-\infty}^{x} \frac{f(t, y)}{f_Y(y)} \, dt \] 案例分析： 继续使用之前离散型随机变量 \( (X, Y) \) 的例子，其联合概率质量函数如下： 我们已经计算了边缘分布：\( p_Y(1) = 0.25, p_Y(2) = 0.45, p_Y(3) = 0.3 \)。现在计算 \( X \) 在给定 \( Y=2 \) 下的条件分布 \( p_{X|Y}(x|2) \)。 ⚝ \( p_{X|Y}(1|2) = P(X=1 | Y=2) = \frac{p(1, 2)}{p_Y(2)} = \frac{0.2}{0.45} = \frac{4}{9} \) 因此，在给定 \( Y=2 \) 的条件下，\( X \) 的条件分布为 \( P(X=1 | Y=2) = \frac{4}{9}, P(X=2 | Y=2) = \frac{5}{9} \)。 总结： 条件分布描述了在已知某些信息的情况下，随机变量的概率分布。条件概率质量函数和条件概率密度函数是计算条件分布的关键工具。理解条件分布对于统计推断、预测以及在已知部分信息时对未知信息进行概率评估至关重要。 随机变量的独立性 (Independence of Random Variables) 是概率论中一个核心概念，它描述了多个随机变量之间互不影响的性质。如果两个或多个随机变量是独立的，那么一个随机变量的取值不会影响其他随机变量的概率分布。 定义： 两个随机变量 \( X \) 和 \( Y \) 被称为是独立的 (independent)，如果对于任意实数 \( x \) 和 \( y \)，事件 \( \{X \leq x\} \) 和 \( \{Y \leq y\} \) 是独立的。用数学公式表示为： \[ P(X \leq x, Y \leq y) = P(X \leq x) \cdot P(Y \leq y) \] 这等价于联合分布函数 \( F(x, y) \) 可以分解为边缘分布函数的乘积： \[ F(x, y) = F_X(x) \cdot F_Y(y) \] 对于 \( n \) 个随机变量 \( X_1, X_2, \ldots, X_n \)，它们被称为是相互独立 (mutually independent) 的，如果对于任意实数 \( x_1, x_2, \ldots, x_n \)，有： \[ P(X_1 \leq x_1, X_2 \leq x_2, \ldots, X_n \leq x_n) = P(X_1 \leq x_1) \cdot P(X_2 \leq x_2) \cdots P(X_n \leq x_n) \] 即联合分布函数等于边缘分布函数的乘积： \[ F(x_1, x_2, \ldots, x_n) = F_{X_1}(x_1) \cdot F_{X_2}(x_2) \cdots F_{X_n}(x_n) \] 独立性的等价条件： 对于离散型随机变量 \( X \) 和 \( Y \)，它们独立的充要条件是其联合概率质量函数 \( p(x, y) \) 可以分解为边缘概率质量函数的乘积： \[ p(x, y) = p_X(x) \cdot p_Y(y), \quad \text{对于所有 } x, y \] 对于连续型随机变量 \( X \) 和 \( Y \)，它们独立的充要条件是其联合概率密度函数 \( f(x, y) \) 可以分解为边缘概率密度函数的乘积： \[ f(x, y) = f_X(x) \cdot f_Y(y), \quad \text{对于所有 } x, y \] 独立性的性质： ① 如果 \( X \) 和 \( Y \) 独立，则 \( X \) 的任何函数 \( g(X) \) 和 \( Y \) 的任何函数 \( h(Y) \) 也独立。例如，如果 \( X \) 和 \( Y \) 独立，则 \( X^2 \) 和 \( e^Y \) 也独立。 ② 如果 \( X_1, X_2, \ldots, X_n \) 相互独立，则任何子集的随机变量也是独立的。例如，如果 \( X, Y, Z \) 相互独立，则 \( X \) 和 \( Y \) 独立，\( X \) 和 \( Z \) 独立，\( Y \) 和 \( Z \) 独立，以及 \( X \) 和 \( (Y, Z) \) 独立等。 ③ 期望的性质：如果 \( X \) 和 \( Y \) 独立，则 \[ E[XY] = E[X] \cdot E[Y] \] 更一般地，如果 \( X_1, X_2, \ldots, X_n \) 相互独立，则 \[ E[X_1 X_2 \cdots X_n] = E[X_1] \cdot E[X_2] \cdots E[X_n] \] ④ 方差的性质：如果 \( X \) 和 \( Y \) 是独立的随机变量，则 \[ Var(X + Y) = Var(X) + Var(Y) \] 更一般地，如果 \( X_1, X_2, \ldots, X_n \) 是相互独立的随机变量，则 \[ Var(X_1 + X_2 + \cdots + X_n) = Var(X_1) + Var(X_2) + \cdots + Var(X_n) \] 如何检验独立性： ⚝ 对于离散型随机变量，检查是否对于所有可能的 \( x \) 和 \( y \)，都有 \( p(x, y) = p_X(x) \cdot p_Y(y) \)。 案例分析： 考虑之前的离散型随机变量 \( (X, Y) \) 的联合概率质量函数： 我们计算了边缘分布：\( p_X(1) = 0.4, p_X(2) = 0.6 \) 和 \( p_Y(1) = 0.25, p_Y(2) = 0.45, p_Y(3) = 0.3 \)。 现在检验 \( X \) 和 \( Y \) 是否独立。例如，检查 \( p(1, 1) \) 是否等于 \( p_X(1) \cdot p_Y(1) \)。 ⚝ \( p(1, 1) = 0.1 \) 在这个例子中，\( p(1, 1) = p_X(1) \cdot p_Y(1) \)。但是，我们需要检查对于所有 \( (x, y) \) 对是否都成立。例如，检查 \( p(1, 2) \) 和 \( p_X(1) \cdot p_Y(2) \)。 ⚝ \( p(1, 2) = 0.2 \) 由于 \( p(1, 2) \neq p_X(1) \cdot p_Y(2) \)，因此 \( X \) 和 \( Y \) 不是独立的。 总结： 随机变量的独立性是概率论中非常重要的概念。独立性简化了概率计算和模型构建。理解独立性的定义、等价条件和性质，能够帮助我们分析和解决实际问题，尤其是在统计建模和数据分析中。 多维离散分布 (Multivariate Discrete Distributions) 描述了多个离散型随机变量的联合概率分布。与单变量离散分布类似，多维离散分布通过联合概率质量函数 (Joint Probability Mass Function, PMF) 来定义。 对于 \( n \) 个离散型随机变量 \( X_1, X_2, \ldots, X_n \)，它们的联合概率质量函数 \( p(x_1, x_2, \ldots, x_n) \) 定义为： \[ p(x_1, x_2, \ldots, x_n) = P(X_1 = x_1, X_2 = x_2, \ldots, X_n = x_n) \] 其中，\( x_1, x_2, \ldots, x_n \) 是随机变量 \( X_1, X_2, \ldots, X_n \) 可能取的值。联合 PMF 必须满足以下条件： ① 非负性 (Non-negativity)：\( p(x_1, x_2, \ldots, x_n) \geq 0 \) 对于所有可能的 \( (x_1, x_2, \ldots, x_n) \)。 ② 归一性 (Normalization)：所有可能取值上的概率之和为 1。 \[ \sum_{x_1} \sum_{x_2} \cdots \sum_{x_n} p(x_1, x_2, \ldots, x_n) = 1 \] 常见的二维离散分布： ① 多项分布 (Multinomial Distribution)：多项分布是二项分布的推广，用于描述将 \( N \) 次独立试验的结果分类到 \( k \) 个互斥类别中的情况。假设每次试验有 \( k \) 种可能结果，每种结果的概率分别为 \( p_1, p_2, \ldots, p_k \) (其中 \( \sum_{i=1}^k p_i = 1 \))。设 \( X_i \) 为 \( N \) 次试验中第 \( i \) 种结果出现的次数，则 \( (X_1, X_2, \ldots, X_k) \) 服从多项分布，其联合 PMF 为： \[ P(X_1 = x_1, X_2 = x_2, \ldots, X_k = x_k) = \frac{N!}{x_1! x_2! \cdots x_k!} p_1^{x_1} p_2^{x_2} \cdots p_k^{x_k} \] 其中，\( \sum_{i=1}^k x_i = N \)，且 \( x_i \geq 0 \) 为整数。 ② 多元超几何分布 (Multivariate Hypergeometric Distribution)：超几何分布描述了从有限总体中不放回地抽取样本的情况。多元超几何分布是超几何分布的推广，考虑总体中包含多种类型的个体。假设一个总体包含 \( k \) 种类型的个体，第 \( i \) 种类型的个体有 \( N_i \) 个，总共有 \( N = \sum_{i=1}^k N_i \) 个个体。从总体中不放回地抽取 \( n \) 个个体。设 \( X_i \) 为抽取的样本中第 \( i \) 种类型个体的数量，则 \( (X_1, X_2, \ldots, X_k) \) 服从多元超几何分布，其联合 PMF 为： \[ P(X_1 = x_1, X_2 = x_2, \ldots, X_k = x_k) = \frac{\prod_{i=1}^k \binom{N_i}{x_i}}{\binom{N}{n}} \] 其中，\( \sum_{i=1}^k x_i = n \)，且 \( 0 \leq x_i \leq N_i \)。 ③ 负多项分布 (Negative Multinomial Distribution)：负多项分布是负二项分布的推广，描述在进行一系列独立试验直到某种结果发生固定次数为止的试验次数分布。假设每次试验有 \( k \) 种可能结果，前 \( k-1 \) 种结果的概率分别为 \( p_1, p_2, \ldots, p_{k-1} \)，第 \( k \) 种结果的概率为 \( p_k = 1 - \sum_{i=1}^{k-1} p_i \)。设 \( X_i \) 为在第 \( k \) 种结果发生 \( r \) 次之前，第 \( i \) 种结果发生的次数 ( \( i = 1, 2, \ldots, k-1 \) )。则 \( (X_1, X_2, \ldots, X_{k-1}) \) 服从负多项分布，其联合 PMF 为： \[ P(X_1 = x_1, X_2 = x_2, \ldots, X_{k-1} = x_{k-1}) = \frac{(r + \sum_{i=1}^{k-1} x_i - 1)!}{(r-1)! \prod_{i=1}^{k-1} x_i!} p_k^r \prod_{i=1}^{k-1} p_i^{x_i} \] 其中，\( x_i \geq 0 \) 为整数。 应用： 多维离散分布在各个领域都有广泛应用。例如，多项分布常用于市场调查中，统计不同选项被选择的次数；多元超几何分布应用于质量控制，检验一批产品中不同类型缺陷产品的数量；负多项分布在排队论和风险管理中有所应用。 总结： 多维离散分布是描述多个离散型随机变量联合行为的工具。理解联合概率质量函数及其性质，以及掌握常见的多维离散分布类型，对于处理涉及多个离散变量的概率问题至关重要。 多维连续分布 (Multivariate Continuous Distributions) 描述了多个连续型随机变量的联合概率分布。与单变量连续分布类似，多维连续分布通过联合概率密度函数 (Joint Probability Density Function, PDF) 来定义。 对于 \( n \) 个连续型随机变量 \( X_1, X_2, \ldots, X_n \)，它们的联合概率密度函数 \( f(x_1, x_2, \ldots, x_n) \) 是一个非负函数，满足以下条件： ① 非负性 (Non-negativity)：\( f(x_1, x_2, \ldots, x_n) \geq 0 \) 对于所有 \( (x_1, x_2, \ldots, x_n) \in \mathbb{R}^n \)。 ② 归一性 (Normalization)：在整个 \( n \) 维空间上的积分等于 1。 \[ \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} f(x_1, x_2, \ldots, x_n) \, dx_1 \, dx_2 \cdots dx_n = 1 \] 随机向量 \( (X_1, X_2, \ldots, X_n) \) 落在 \( n \) 维空间中某个区域 \( A \) 内的概率可以通过对联合 PDF 在区域 \( A \) 上积分得到： \[ P((X_1, X_2, \ldots, X_n) \in A) = \int \cdots \int_A f(x_1, x_2, \ldots, x_n) \, dx_1 \, dx_2 \cdots dx_n \] 常见的二维连续分布： ① 二维均匀分布 (Bivariate Uniform Distribution)：在二维区域 \( R \) 上的均匀分布，其联合 PDF 在区域 \( R \) 内为常数，在区域外为 0。如果 \( R \) 的面积为 \( Area(R) \)，则联合 PDF 为： \[ f(x, y) = \begin{cases} \frac{1}{Area(R)}, & (x, y) \in R \\ 0, & (x, y) \notin R \end{cases} \] 例如，如果 \( R = [a, b] \times [c, d] \) 是一个矩形区域，则 \( Area(R) = (b-a)(d-c) \)，联合 PDF 为： \[ f(x, y) = \begin{cases} \frac{1}{(b-a)(d-c)}, & a \leq x \leq b, c \leq y \leq d \\ 0, & \text{otherwise} \end{cases} \] ② 二维指数分布 (Bivariate Exponential Distribution)：二维指数分布有多种形式，一种常见的形式是 Marshall-Olkin 二维指数分布。但更常见的是独立指数分布，如果 \( X \) 和 \( Y \) 是独立的指数分布随机变量，分别具有参数 \( \lambda_1 \) 和 \( \lambda_2 \)，则它们的联合 PDF 为： \[ f(x, y) = f_X(x) \cdot f_Y(y) = \lambda_1 e^{-\lambda_1 x} \cdot \lambda_2 e^{-\lambda_2 y} = \lambda_1 \lambda_2 e^{-(\lambda_1 x + \lambda_2 y)}, \quad x \geq 0, y \geq 0 \] ③ 二维正态分布 (Bivariate Normal Distribution)：二维正态分布是最重要的多维连续分布之一，是单变量正态分布的推广。其联合 PDF 形式较为复杂，涉及到均值向量、协方差矩阵和相关系数。将在下一节详细介绍。 应用： 多维连续分布在物理学、工程学、金融学等领域有广泛应用。例如，二维均匀分布可以用来模拟在某个区域内随机落点的分布；二维指数分布在可靠性分析和排队论中有所应用；二维正态分布在统计建模、金融风险管理等领域中扮演重要角色。 总结： 多维连续分布是描述多个连续型随机变量联合行为的工具。理解联合概率密度函数及其性质，以及掌握常见的二维连续分布类型，对于处理涉及多个连续变量的概率问题至关重要。 多元正态分布 (Multivariate Normal Distribution)，也称为多元高斯分布 (Multivariate Gaussian Distribution)，是单变量正态分布向多维的推广，是概率论和统计学中最重要的多维连续分布之一。它在统计推断、机器学习、金融建模等领域有着广泛的应用。 定义： 一个 \( n \) 维随机向量 \( \mathbf{X} = (X_1, X_2, \ldots, X_n)^T \) 服从多元正态分布，如果它的联合概率密度函数具有以下形式： \[ f(\mathbf{x}; \boldsymbol{\mu}, \boldsymbol{\Sigma}) = \frac{1}{(2\pi)^{n/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})\right) \] 其中： 我们通常用 \( \mathbf{X} \sim N(\boldsymbol{\mu}, \boldsymbol{\Sigma}) \) 来表示随机向量 \( \mathbf{X} \) 服从均值为 \( \boldsymbol{\mu} \)，协方差矩阵为 \( \boldsymbol{\Sigma} \) 的多元正态分布。 多元正态分布的性质： ① 线性变换的封闭性 (Closure under linear transformations)：如果 \( \mathbf{X} \sim N(\boldsymbol{\mu}, \boldsymbol{\Sigma}) \)，且 \( \mathbf{A} \) 是一个 \( m \times n \) 的常数矩阵，\( \mathbf{b} \) 是一个 \( m \) 维常数向量，则线性变换后的随机向量 \( \mathbf{Y} = \mathbf{A}\mathbf{X} + \mathbf{b} \) 也服从多元正态分布，且 \( \mathbf{Y} \sim N(\mathbf{A}\boldsymbol{\mu} + \mathbf{b}, \mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^T) \)。 ② 边缘分布也是正态分布 (Marginal distributions are normal)：如果 \( \mathbf{X} = (X_1, X_2, \ldots, X_n)^T \sim N(\boldsymbol{\mu}, \boldsymbol{\Sigma}) \)，则任何子向量 \( (X_{i_1}, X_{i_2}, \ldots, X_{i_k})^T \) 也服从多元正态分布。特别地，每个边缘随机变量 \( X_i \) 都服从一维正态分布 \( N(\mu_i, \sigma_{ii}) \)，其中 \( \mu_i \) 是均值向量 \( \boldsymbol{\mu} \) 的第 \( i \) 个元素，\( \sigma_{ii} \) 是协方差矩阵 \( \boldsymbol{\Sigma} \) 的第 \( (i, i) \) 个元素（即 \( X_i \) 的方差）。 ③ 条件分布也是正态分布 (Conditional distributions are normal)：多元正态分布的条件分布仍然是正态分布。例如，将 \( \mathbf{X} \) 和 \( \boldsymbol{\mu} \) 分割为： \[ \mathbf{X} = \begin{pmatrix} \mathbf{X}_1 \\ \mathbf{X}_2 \end{pmatrix}, \quad \boldsymbol{\mu} = \begin{pmatrix} \boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2 \end{pmatrix}, \quad \boldsymbol{\Sigma} = \begin{pmatrix} \boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22} \end{pmatrix} \] 其中 \( \mathbf{X}_1 \) 是 \( p \) 维向量，\( \mathbf{X}_2 \) 是 \( q \) 维向量，\( p + q = n \)。则在给定 \( \mathbf{X}_2 = \mathbf{x}_2 \) 的条件下，\( \mathbf{X}_1 \) 的条件分布仍然是正态分布，且 \[ \mathbf{X}_1 | \mathbf{X}_2 = \mathbf{x}_2 \sim N(\boldsymbol{\mu}_{1|2}, \boldsymbol{\Sigma}_{1|2}) \] 其中，条件均值 \( \boldsymbol{\mu}_{1|2} \) 和条件协方差矩阵 \( \boldsymbol{\Sigma}_{1|2} \) 为： \[ \boldsymbol{\mu}_{1|2} = \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\mathbf{x}_2 - \boldsymbol{\mu}_2) \] \[ \boldsymbol{\Sigma}_{1|2} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21} \] ④ 独立性与不相关性 (Independence and uncorrelatedness)：对于多元正态分布，随机变量不相关等价于独立。也就是说，如果协方差矩阵 \( \boldsymbol{\Sigma} \) 是对角矩阵，即 \( \boldsymbol{\Sigma}_{ij} = 0 \) 对于 \( i \neq j \)，则 \( X_1, X_2, \ldots, X_n \) 是相互独立的。反之，如果 \( X_1, X_2, \ldots, X_n \) 相互独立且服从正态分布，则它们的联合分布是多元正态分布，且协方差矩阵是对角矩阵。 二维正态分布： 二维正态分布是多元正态分布在 \( n=2 \) 时的特殊情况。设 \( \mathbf{X} = \begin{pmatrix} X \\ Y \end{pmatrix} \sim N(\boldsymbol{\mu}, \boldsymbol{\Sigma}) \)，其中 \( \boldsymbol{\mu} = \begin{pmatrix} \mu_X \\ \mu_Y \end{pmatrix} \)，\( \boldsymbol{\Sigma} = \begin{pmatrix} \sigma_X^2 & \rho \sigma_X \sigma_Y \\ \rho \sigma_X \sigma_Y & \sigma_Y^2 \end{pmatrix} \)，\( \rho \) 是 \( X \) 和 \( Y \) 的相关系数。则二维正态分布的联合 PDF 为： \[ f(x, y) = \frac{1}{2\pi \sigma_X \sigma_Y \sqrt{1 - \rho^2}} \exp\left(-\frac{1}{2(1 - \rho^2)} \left[ \frac{(x - \mu_X)^2}{\sigma_X^2} - \frac{2\rho (x - \mu_X)(y - \mu_Y)}{\sigma_X \sigma_Y} + \frac{(y - \mu_Y)^2}{\sigma_Y^2} \right] \right) \] 应用： 多元正态分布在统计建模中被广泛使用，例如线性回归模型中的误差项通常假设服从正态分布。在金融领域，多元正态分布常用于资产收益率的建模，以及投资组合风险的评估。在机器学习中，高斯混合模型、高斯过程等方法都基于正态分布。 总结： 多元正态分布是描述多维连续随机变量联合分布的重要工具。理解其定义、性质和参数的含义，以及掌握二维正态分布的具体形式，对于深入学习和应用概率论与统计学至关重要。多元正态分布的良好性质，如线性变换的封闭性、边缘分布和条件分布的正态性，以及独立性与不相关性的等价性，使其在理论研究和实际应用中都非常方便和有效。 在概率论和统计学的研究中，我们经常需要处理随机变量的函数。这是因为在实际问题中，我们感兴趣的量往往不是直接观测到的随机变量本身，而是这些随机变量的某种变换或函数。例如，我们可能知道某个随机变量 \(X\) 的分布，它代表了某种产品的长度，但我们更关心的是产品的面积 \(Y = X^2\) 或体积 \(Z = \pi r^2 X\)，其中 \(r\) 是常数。因此，理解如何确定随机变量的函数的分布至关重要。 本节将探讨当给定一个随机变量 \(X\) 的分布以及一个函数 \(g(\cdot)\) 时，如何求得随机变量 \(Y = g(X)\) 的分布。我们将分别考虑离散型随机变量和连续型随机变量的情况。 当 \(X\) 是一个离散型随机变量，其概率质量函数 (Probability Mass Function, PMF) 为 \(P_X(x) = P(X=x)\)，且 \(Y = g(X)\) 是 \(X\) 的函数时，\(Y\) 仍然是一个随机变量。为了求得 \(Y\) 的分布，我们需要确定 \(Y\) 可能取的所有值以及每个值的概率。 设 \(X\) 的可能取值为 \(x_1, x_2, x_3, \ldots\)，对应的概率为 \(P_X(x_1), P_X(x_2), P_X(x_3), \ldots\)。则 \(Y = g(X)\) 的可能取值为 \(y_i = g(x_i)\)。但是，需要注意的是，不同的 \(x_i\) 可能映射到相同的 \(y_j\)。因此，对于 \(Y\) 的每一个可能取值 \(y\)，我们需要找到所有满足 \(g(x) = y\) 的 \(x\) 值，并将这些 \(x\) 值对应的概率加起来，得到 \(P_Y(y) = P(Y=y)\)。 更具体地说，对于 \(Y\) 的一个特定取值 \(y\)，我们有： 案例 8.1.1：平方变换 因此，\(Y\) 的可能取值为 \(0\) 和 \(1\)。现在计算 \(Y\) 的 PMF： 所以，\(Y\) 的 PMF 为： 当 \(X\) 是一个连续型随机变量，其概率密度函数 (Probability Density Function, PDF) 为 \(f_X(x)\)，且 \(Y = g(X)\) 是 \(X\) 的一个连续函数时，求 \(Y\) 的分布通常需要使用累积分布函数 (Cumulative Distribution Function, CDF) 方法或变量变换法。 ① 累积分布函数 (CDF) 方法 具体步骤如下： 案例 8.1.2：线性变换 首先求 \(Y\) 的 CDF： ② 变量变换法 (Transformation Method) (适用于单调函数) 如果 \(g(x)\) 严格递增，则 \(F_Y(y) = P(Y \le y) = P(g(X) \le y) = P(X \le h(y)) = F_X(h(y))\)。 对 \(F_Y(y)\) 求导得到 \(f_Y(y)\)。利用链式法则，如果 \(g(x)\) 严格递增，则： 案例 8.1.3：指数变换 现在考虑多个随机变量的函数。设 \(X_1, X_2, \ldots, X_n\) 是 \(n\) 个随机变量，它们的联合分布已知，我们想要求解 \(Y = g(X_1, X_2, \ldots, X_n)\) 的分布。 与单变量情况类似，如果 \(X_1, X_2, \ldots, X_n\) 是离散型随机变量，则 \(Y = g(X_1, X_2, \ldots, X_n)\) 也是离散型随机变量。其 PMF 可以通过对联合 PMF 求和得到。 设 \((X_1, X_2, \ldots, X_n)\) 的联合 PMF 为 \(P_{X_1, \ldots, X_n}(x_1, \ldots, x_n) = P(X_1 = x_1, \ldots, X_n = x_n)\)。对于 \(Y\) 的一个特定取值 \(y\)，其概率为： 案例 8.2.1：两个离散随机变量之和 对于 \(Y = X_1 + X_2 = y\)，我们需要求 \(P(Y = y) = P(X_1 + X_2 = y)\)。对于给定的 \(y\)，\(X_1\) 可以取 \(0, 1, \ldots, y\)，而 \(X_2 = y - X_1\)。因此， 对于连续型随机变量 \(X_1, X_2, \ldots, X_n\)，设它们的联合 PDF 为 \(f_{X_1, \ldots, X_n}(x_1, \ldots, x_n)\)。要求 \(Y = g(X_1, \ldots, X_n)\) 的分布，可以使用 CDF 方法或多变量变量变换法。 ① 累积分布函数 (CDF) 方法 案例 8.2.2：两个独立均匀分布随机变量之和 求 \(Y\) 的 CDF：\(F_Y(y) = P(Y \le y) = P(X_1 + X_2 \le y)\)。我们需要计算积分 \(\iint_{x_1 + x_2 \le y} f_{X_1, X_2}(x_1, x_2) dx_1 dx_2\)，积分区域为 \(0 < x_1 < 1, 0 < x_2 < 1, x_1 + x_2 \le y\)。 分情况讨论 \(y\) 的取值范围： 综上，\(Y = X_1 + X_2\) 的 CDF 为： ② 多变量变量变换法 (Multivariate Transformation Method) 案例 8.2.3：极坐标变换 卷积 (Convolution) 是概率论中一个重要的概念，特别是在处理独立随机变量之和时。 设 \(X\) 和 \(Y\) 是两个独立的离散型随机变量，它们的 PMF 分别为 \(P_X(x)\) 和 \(P_Y(y)\)。令 \(Z = X + Y\)。则 \(Z\) 的 PMF \(P_Z(z)\) 可以通过卷积公式计算得到： 案例 8.3.1：两个独立伯努利分布之和 因此，\(Y\) 的 PMF 为： 设 \(X\) 和 \(Y\) 是两个独立的连续型随机变量，它们的 PDF 分别为 \(f_X(x)\) 和 \(f_Y(y)\)。令 \(Z = X + Y\)。则 \(Z\) 的 PDF \(f_Z(z)\) 可以通过卷积公式计算得到： 推导： 案例 8.3.2：两个独立标准正态分布之和 矩母函数 (Moment Generating Function, MGF) 是描述随机变量分布的一种工具，尤其在求随机变量函数的分布时非常有用。 对于随机变量 \(X\)，其矩母函数 \(M_X(t)\) 定义为： ① 唯一性 (Uniqueness)：如果两个随机变量的 MGF 在包含 0 的某个开区间内相等，则它们的分布相同。 ② 求矩 (Moments)：MGF 可以用来求随机变量的各阶矩。第 \(n\) 阶原点矩 \(E[X^n]\) 可以通过对 MGF 求 \(n\) 阶导数并在 \(t=0\) 处取值得到： ③ 线性变换 (Linear Transformation)：设 \(Y = aX + b\)，其中 \(a\) 和 \(b\) 是常数。则 \(Y\) 的 MGF 为： ④ 独立随机变量之和 (Sum of Independent Random Variables)：设 \(X\) 和 \(Y\) 是两个独立的随机变量，\(Z = X + Y\)。则 \(Z\) 的 MGF 为： 案例 8.4.1：泊松分布的 MGF 案例 8.4.2：利用 MGF 求两个独立泊松分布之和的分布 特征函数 (Characteristic Function) 是另一种描述随机变量分布的工具，与 MGF 类似，但具有更广泛的应用，因为特征函数总是存在。 对于随机变量 \(X\)，其特征函数 \(\phi_X(t)\) 定义为： ① 唯一性 (Uniqueness)：特征函数唯一确定分布。如果两个随机变量的特征函数相同，则它们的分布相同。 ② 求矩 (Moments)：如果 \(E[|X|^n] < \infty\)，则第 \(n\) 阶原点矩 \(E[X^n]\) 可以通过对特征函数求 \(n\) 阶导数并在 \(t=0\) 处取值得到： ③ 线性变换 (Linear Transformation)：设 \(Y = aX + b\)，其中 \(a\) 和 \(b\) 是常数。则 \(Y\) 的特征函数为： ④ 独立随机变量之和 (Sum of Independent Random Variables)：设 \(X\) 和 \(Y\) 是两个独立的随机变量，\(Z = X + Y\)。则 \(Z\) 的特征函数为： ⑤ 反演公式 (Inversion Formula)：特征函数与分布函数之间存在一一对应关系，可以通过反演公式从特征函数恢复分布函数或 PDF/PMF。对于连续型随机变量，如果 \(\int_{-\infty}^{\infty} |\phi_X(t)| dt < \infty\)，则 PDF 可以通过反演公式得到： 案例 8.5.1：标准正态分布的特征函数 案例 8.5.2：利用特征函数求两个独立标准正态分布之和的分布 特征函数在理论推导中非常重要，尤其是在证明中心极限定理 (Central Limit Theorem, CLT) 和处理没有 MGF 的分布（如柯西分布 (Cauchy Distribution)）时。 切比雪夫不等式 (Chebyshev's Inequality) 是概率论中一个非常重要的不等式，它提供了一个关于随机变量的概率分布与其均值之间偏差的上限估计。即使我们对随机变量的具体分布了解不多，切比雪夫不等式仍然能够给出有用的信息。这个不等式以俄国数学家帕夫努季·列沃尼多维奇·切比雪夫 (Pafnuty Lvovich Chebyshev) 的名字命名。 定理 9.1 (切比雪夫不等式, Chebyshev's Inequality) 设 \(X\) 是一个随机变量，其数学期望 (Expectation) 为 \(E(X) = \mu\)，方差 (Variance) 为 \(Var(X) = \sigma^2\)，其中 \(\sigma^2 < \infty\)。对于任意 \(k > 0\)，有： \[ P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2} \] 或者等价地，对于任意 \(\epsilon > 0\)，有： \[ P(|X - \mu| \geq \epsilon) \leq \frac{Var(X)}{\epsilon^2} \] 证明： 我们证明第二个形式的不等式。设 \(Y = (X - \mu)^2\)。由于 \(Y \geq 0\)，我们可以应用马尔可夫不等式 (Markov's Inequality)。马尔可夫不等式指出，对于任何非负随机变量 \(Y\) 和 \(a > 0\)，有 \(P(Y \geq a) \leq \frac{E(Y)}{a}\)。 在本例中，我们令 \(a = \epsilon^2\)。那么事件 \(|X - \mu| \geq \epsilon\) 等价于 \((X - \mu)^2 \geq \epsilon^2\)，即 \(Y \geq \epsilon^2\)。因此，根据马尔可夫不等式，我们有： \[ P(|X - \mu| \geq \epsilon) = P((X - \mu)^2 \geq \epsilon^2) \leq \frac{E((X - \mu)^2)}{\epsilon^2} \] 由于 \(E((X - \mu)^2) = Var(X) = \sigma^2\)，我们得到： \[ P(|X - \mu| \geq \epsilon) \leq \frac{Var(X)}{\epsilon^2} = \frac{\sigma^2}{\epsilon^2} \] 如果令 \(\epsilon = k\sigma\)，则 \(\epsilon^2 = k^2\sigma^2\)，代入上述不等式，得到： \[ P(|X - \mu| \geq k\sigma) \leq \frac{\sigma^2}{k^2\sigma^2} = \frac{1}{k^2} \] 证毕。 切比雪夫不等式的意义： ① 通用性：切比雪夫不等式对随机变量 \(X\) 的分布几乎没有要求，只需要知道其均值和方差即可。这使得它在理论分析和实际应用中都非常有用，尤其是在我们对分布的具体形式不清楚时。 ② 概率界限：不等式给出了随机变量 \(X\) 偏离其均值 \(\mu\) 超过一定程度的概率上限。例如，当 \(k=2\) 时，\(P(|X - \mu| \geq 2\sigma) \leq \frac{1}{4} = 0.25\)。这意味着，无论 \(X\) 的分布如何，\(X\) 落在均值 \(\mu\) 两个标准差范围之外的概率不会超过 25%。当 \(k=3\) 时，\(P(|X - \mu| \geq 3\sigma) \leq \frac{1}{9} \approx 0.111\)，概率上限进一步降低。 ③ 粗略估计：虽然切比雪夫不等式给出的界限通常比较宽松（即实际概率可能远小于不等式给出的上限），但在缺乏更多信息的情况下，它仍然提供了一个有用的、可量化的概率估计。 例子 9.1 假设一个随机变量 \(X\) 的均值 \(\mu = 100\)，标准差 \(\sigma = 10\)。我们想估计 \(X\) 落在区间 \([80, 120]\) 之外的概率。 区间 \([80, 120]\) 对应于 \(|X - 100| \leq 20\)，而区间之外对应于 \(|X - 100| > 20\)，即 \(|X - \mu| > 20 = 2\sigma\)，因为 \(\sigma = 10\)。 根据切比雪夫不等式，取 \(k = 2\)，我们有： \[ P(|X - 100| \geq 20) = P(|X - \mu| \geq 2\sigma) \leq \frac{1}{2^2} = \frac{1}{4} = 0.25 \] 因此，\(X\) 落在区间 \([80, 120]\) 之外的概率不超过 25%。换句话说，\(X\) 落在区间 \([80, 120]\) 之内的概率至少为 \(1 - 0.25 = 0.75\)。 例子 9.2 假设某工厂生产一批电子元件，每个元件的寿命 \(X\) (单位：小时) 是一个随机变量，已知平均寿命 \(E(X) = 500\) 小时，标准差 \(SD(X) = 100\) 小时。利用切比雪夫不等式估计元件寿命在 300 小时到 700 小时之间的概率。 我们要求的是 \(P(300 \leq X \leq 700)\)。这等价于 \(P(|X - 500| \leq 200)\)。我们考虑相反事件 \(|X - 500| > 200\)。这里 \(\mu = 500\)，\(\sigma = 100\)，所以 \(200 = 2\sigma\)，即 \(k = 2\)。 根据切比雪夫不等式： \[ P(|X - 500| \geq 200) = P(|X - \mu| \geq 2\sigma) \leq \frac{1}{2^2} = \frac{1}{4} = 0.25 \] 因此，元件寿命偏离均值 500 小时超过 200 小时的概率不超过 25%。那么，元件寿命在 300 小时到 700 小时之间的概率至少为： \[ P(300 \leq X \leq 700) = P(|X - 500| \leq 200) = 1 - P(|X - 500| > 200) \geq 1 - 0.25 = 0.75 \] 所以，根据切比雪夫不等式，我们估计电子元件寿命在 300 小时到 700 小时之间的概率至少为 75%。 总结 切比雪夫不等式是一个非常有用的工具，它允许我们在只知道随机变量的均值和方差的情况下，对其概率分布的尾部行为进行估计。虽然它提供的界限可能不是最紧的，但在许多实际问题中，它仍然可以提供有价值的参考信息。 大数定律 (Laws of Large Numbers, LLN) 是概率论中描述随机事件长期平均结果稳定性的定律。它表明，当重复进行大量独立的、相同的随机试验时，样本均值会趋近于总体均值。大数定律是概率论和统计学的基石之一，它解释了为什么在大量重复试验中，频率可以稳定地接近概率，也为统计推断提供了理论基础。 大数定律主要分为两种形式：弱大数定律 (Weak Law of Large Numbers, WLLN) 和强大数定律 (Strong Law of Large Numbers, SLLN)。它们都描述了样本均值的收敛性，但收敛的方式和条件有所不同。 弱大数定律 (Weak Law of Large Numbers, WLLN) 指出，对于一系列独立同分布 (independent and identically distributed, i.i.d.) 的随机变量，样本均值依概率收敛 (converges in probability) 于总体均值。 定理 9.2 (弱大数定律, Weak Law of Large Numbers, WLLN) 设 \(X_1, X_2, \ldots, X_n, \ldots\) 是一系列独立同分布的随机变量，具有相同的数学期望 \(E(X_i) = \mu\)，且方差 \(Var(X_i) = \sigma^2 < \infty\)。令样本均值 \(\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i\)。则对于任意 \(\epsilon > 0\)，有： \[ \lim_{n \to \infty} P(|\bar{X}_n - \mu| \geq \epsilon) = 0 \] 或者等价地， \[ \lim_{n \to \infty} P(|\bar{X}_n - \mu| < \epsilon) = 1 \] 这表示样本均值 \(\bar{X}_n\) 依概率收敛于总体均值 \(\mu\)，记作 \(\bar{X}_n \xrightarrow{P} \mu\)。 证明 (利用切比雪夫不等式)： 为了证明弱大数定律，我们可以利用切比雪夫不等式。首先，计算样本均值 \(\bar{X}_n\) 的数学期望和方差。 由于 \(X_1, X_2, \ldots, X_n\) 是独立同分布的，所以： \[ E(\bar{X}_n) = E\left(\frac{1}{n} \sum_{i=1}^{n} X_i\right) = \frac{1}{n} \sum_{i=1}^{n} E(X_i) = \frac{1}{n} \sum_{i=1}^{n} \mu = \frac{1}{n} \cdot n\mu = \mu \] \[ Var(\bar{X}_n) = Var\left(\frac{1}{n} \sum_{i=1}^{n} X_i\right) = \frac{1}{n^2} \sum_{i=1}^{n} Var(X_i) = \frac{1}{n^2} \sum_{i=1}^{n} \sigma^2 = \frac{1}{n^2} \cdot n\sigma^2 = \frac{\sigma^2}{n} \] 注意，这里利用了独立随机变量和的方差等于方差的和，以及常数因子可以从方差中平方提出。 现在，对 \(\bar{X}_n\) 应用切比雪夫不等式，对于任意 \(\epsilon > 0\)，有： \[ P(|\bar{X}_n - E(\bar{X}_n)| \geq \epsilon) \leq \frac{Var(\bar{X}_n)}{\epsilon^2} \] 将 \(E(\bar{X}_n) = \mu\) 和 \(Var(\bar{X}_n) = \frac{\sigma^2}{n}\) 代入，得到： \[ P(|\bar{X}_n - \mu| \geq \epsilon) \leq \frac{\sigma^2/n}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2} \] 当 \(n \to \infty\) 时，\(\frac{\sigma^2}{n\epsilon^2} \to 0\)。因此， \[ \lim_{n \to \infty} P(|\bar{X}_n - \mu| \geq \epsilon) \leq \lim_{n \to \infty} \frac{\sigma^2}{n\epsilon^2} = 0 \] 由于概率是非负的，所以 \[ \lim_{n \to \infty} P(|\bar{X}_n - \mu| \geq \epsilon) = 0 \] 证毕。 弱大数定律的意义： ① 频率的稳定性：弱大数定律解释了在大量重复试验中，事件发生的频率会趋近于其概率。例如，抛掷一枚均匀硬币，正面朝上的概率为 0.5。当我们重复抛掷硬币很多次时，正面朝上的频率会越来越接近 0.5。 ② 样本均值的可靠性：在统计学中，我们常用样本均值来估计总体均值。弱大数定律保证了当样本容量 \(n\) 足够大时，样本均值 \(\bar{X}_n\) 以很高的概率接近总体均值 \(\mu\)。这为统计推断提供了理论依据。 ③ 依概率收敛：需要注意的是，弱大数定律是依概率收敛，这意味着对于任意给定的 \(\epsilon > 0\)，当 \(n\) 足够大时，\(|\bar{X}_n - \mu| < \epsilon\) 的概率接近 1。但这并不意味着对于每次具体的试验序列，\(\bar{X}_n\) 都一定会收敛到 \(\mu\)。存在一些可能性，虽然概率很小，但 \(\bar{X}_n\) 可能始终偏离 \(\mu\) 超过 \(\epsilon\)。 例子 9.3 (抛硬币) 设 \(X_i\) 表示第 \(i\) 次抛掷均匀硬币的结果，\(X_i = 1\) 表示正面朝上，\(X_i = 0\) 表示反面朝上。则 \(X_1, X_2, \ldots\) 是一系列独立同分布的随机变量，\(E(X_i) = 0.5\)，\(Var(X_i) = 0.5 \times 0.5 = 0.25\)。样本均值 \(\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i\) 表示前 \(n\) 次抛掷中正面朝上的频率。 根据弱大数定律，对于任意 \(\epsilon > 0\)，当 \(n \to \infty\) 时，\(P(|\bar{X}_n - 0.5| \geq \epsilon) \to 0\)。这意味着，随着抛掷次数 \(n\) 的增加，正面朝上的频率 \(\bar{X}_n\) 依概率收敛于 0.5。 强大数定律 (Strong Law of Large Numbers, SLLN) 比弱大数定律更强。它指出，样本均值不仅依概率收敛于总体均值，而且几乎必然收敛 (converges almost surely) 于总体均值。 定理 9.3 (强大数定律, Strong Law of Large Numbers, SLLN) 设 \(X_1, X_2, \ldots, X_n, \ldots\) 是一系列独立同分布的随机变量，具有相同的数学期望 \(E(X_i) = \mu\)。令样本均值 \(\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i\)。则样本均值 \(\bar{X}_n\) 几乎必然收敛于总体均值 \(\mu\)，即： \[ P\left(\lim_{n \to \infty} \bar{X}_n = \mu\right) = 1 \] 这表示样本均值 \(\bar{X}_n\) 几乎必然收敛于总体均值 \(\mu\)，记作 \(\bar{X}_n \xrightarrow{a.s.} \mu\)。 强大数定律与弱大数定律的区别： ① 收敛方式：弱大数定律是依概率收敛，强大数定律是几乎必然收敛。几乎必然收敛比依概率收敛更强。 ② 结论强度：弱大数定律说的是对于任意 \(\epsilon > 0\)，当 \(n\) 足够大时，\(|\bar{X}_n - \mu| < \epsilon\) 的概率接近 1。强大数定律说的是，概率为 1 的事件是序列 \(\bar{X}_1, \bar{X}_2, \ldots\) 收敛到 \(\mu\)。换句话说，在几乎所有的样本路径 (sample path) 上，样本均值序列都会收敛到总体均值。 ③ 条件：对于独立同分布的随机变量序列，弱大数定律只需要方差有限的条件，而强大数定律只需要数学期望存在即可。更一般的强大数定律甚至可以放宽独立同分布的条件。 强大数定律的意义： ① 更强的稳定性：强大数定律提供了更强的长期平均结果的稳定性保证。它表明，在几乎所有情况下，随着试验次数的增加，样本均值都会稳定地趋近于总体均值。 ② 理论基础：强大数定律为统计学和概率论的许多重要理论提供了更坚实的理论基础。例如，在蒙特卡洛模拟 (Monte Carlo simulation) 中，我们利用大量随机抽样来估计期望值，强大数定律保证了这种方法的有效性。 例子 9.4 (蒙特卡洛模拟) 假设我们要计算一个复杂积分 \(I = \int_a^b g(x) dx\)。我们可以通过蒙特卡洛方法来近似计算。假设 \(X\) 在 \([a, b]\) 上服从均匀分布 (Uniform Distribution)，其概率密度函数 (Probability Density Function, PDF) 为 \(f(x) = \frac{1}{b-a}\) for \(x \in [a, b]\)，\(f(x) = 0\) otherwise。则 \(E(g(X)) = \int_a^b g(x) f(x) dx = \frac{1}{b-a} \int_a^b g(x) dx = \frac{I}{b-a}\)。因此，\(I = (b-a) E(g(X))\)。 我们可以生成一系列独立同分布的随机变量 \(X_1, X_2, \ldots, X_n\)，它们都服从 \([a, b]\) 上的均匀分布。计算 \(Y_i = g(X_i)\)，则 \(Y_1, Y_2, \ldots, Y_n\) 也是独立同分布的，且 \(E(Y_i) = E(g(X)) = \frac{I}{b-a}\)。根据强大数定律，样本均值 \(\bar{Y}_n = \frac{1}{n} \sum_{i=1}^{n} Y_i\) 几乎必然收敛于 \(E(Y_i) = \frac{I}{b-a}\)。因此，当 \(n\) 足够大时，\((b-a) \bar{Y}_n = \frac{b-a}{n} \sum_{i=1}^{n} g(X_i)\) 可以作为积分 \(I\) 的一个很好的近似。 总结 大数定律是概率论中的核心概念，它揭示了随机现象长期平均结果的稳定性。弱大数定律和强大数定律从不同角度描述了样本均值向总体均值的收敛性，为统计推断和实际应用提供了重要的理论基础。理解大数定律有助于我们理解随机性背后的规律性，并在实践中合理运用统计方法。 中心极限定理 (Central Limit Theorem, CLT) 是概率论中最重要、最 фундаментальный 的定理之一。它指出，在一定条件下，大量独立同分布的随机变量之和（或均值）的分布近似于正态分布 (Normal Distribution)。无论原始随机变量的分布是什么，只要满足一定的条件，它们的和的分布都趋近于正态分布。中心极限定理在统计推断、工程、金融、自然科学等领域有着广泛的应用。 定理 9.4 (中心极限定理, Central Limit Theorem, CLT) 设 \(X_1, X_2, \ldots, X_n, \ldots\) 是一系列独立同分布的随机变量，具有相同的数学期望 \(E(X_i) = \mu\) 和方差 \(Var(X_i) = \sigma^2 > 0\)。令 \(S_n = \sum_{i=1}^{n} X_i\) 为前 \(n\) 个随机变量的和，样本均值 \(\bar{X}_n = \frac{1}{n} S_n = \frac{1}{n} \sum_{i=1}^{n} X_i\)。定义标准化和 (standardized sum) \(Z_n\) 为： \[ Z_n = \frac{S_n - E(S_n)}{\sqrt{Var(S_n)}} = \frac{S_n - n\mu}{\sqrt{n\sigma^2}} = \frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} = \frac{\sum_{i=1}^{n} (X_i - \mu)}{\sqrt{n}\sigma} \] 则当 \(n \to \infty\) 时，\(Z_n\) 的分布函数 (Cumulative Distribution Function, CDF) 趋近于标准正态分布 (Standard Normal Distribution) 的分布函数 \(\Phi(z)\)，即对于任意实数 \(z\)，有： \[ \lim_{n \to \infty} P(Z_n \leq z) = \Phi(z) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{z} e^{-t^2/2} dt \] 这表示标准化和 \(Z_n\) 依分布收敛 (converges in distribution) 于标准正态分布，记作 \(Z_n \xrightarrow{D} N(0, 1)\)。 中心极限定理的意义： ① 分布的近似：中心极限定理表明，当 \(n\) 足够大时，随机变量和 \(S_n\) 的分布近似于正态分布 \(N(n\mu, n\sigma^2)\)，样本均值 \(\bar{X}_n\) 的分布近似于正态分布 \(N(\mu, \sigma^2/n)\)。这意味着，即使我们不知道 \(X_i\) 的具体分布，我们也可以用正态分布来近似 \(S_n\) 或 \(\bar{X}_n\) 的分布，从而进行概率计算和统计推断。 ② 普遍适用性：中心极限定理的强大之处在于，它对原始随机变量 \(X_i\) 的分布几乎没有限制，只要它们是独立同分布的，且具有有限的均值和正方差，中心极限定理就成立。这使得正态分布成为自然界和社会科学中最常见的分布之一。 ③ 统计推断的基础：中心极限定理是许多统计推断方法的基础。例如，在假设检验 (hypothesis testing) 和置信区间估计 (confidence interval estimation) 中，我们经常利用中心极限定理来构造检验统计量和置信区间。 中心极限定理的应用条件： 中心极限定理成立的条件主要是独立同分布和有限的均值和正方差。在实际应用中，即使这些条件不能完全满足，只要偏差不是太大，中心极限定理的近似效果通常也很好。 ① 独立性：随机变量 \(X_1, X_2, \ldots, X_n\) 之间需要近似独立。在许多实际问题中，即使不是完全独立，只要相关性较弱，中心极限定理仍然适用。 ② 同分布：随机变量 \(X_1, X_2, \ldots, X_n\) 需要近似同分布。在实际应用中，只要它们的分布差异不是太大，中心极限定理仍然可以提供合理的近似。 ③ 样本容量 \(n\)：样本容量 \(n\) 需要足够大。一般来说，当 \(n \geq 30\) 时，中心极限定理的近似效果就比较好。但具体需要的 \(n\) 的大小取决于原始分布的形状。如果原始分布本身就比较接近正态分布，那么较小的 \(n\) 就可以得到很好的近似。如果原始分布偏斜程度较大或尾部较重，则需要更大的 \(n\)。 例子 9.5 (二项分布的正态近似) 设 \(X_1, X_2, \ldots, X_n\) 是一系列独立的伯努利试验 (Bernoulli Trials)，每次试验成功的概率为 \(p\)。令 \(X_i = 1\) 表示第 \(i\) 次试验成功，\(X_i = 0\) 表示失败。则 \(X_1, X_2, \ldots, X_n\) 是独立同分布的，\(E(X_i) = p\)，\(Var(X_i) = p(1-p)\)。令 \(S_n = \sum_{i=1}^{n} X_i\) 表示 \(n\) 次试验中成功的次数，则 \(S_n\) 服从二项分布 (Binomial Distribution) \(B(n, p)\)。 根据中心极限定理，当 \(n\) 足够大时，\(S_n\) 的分布近似于正态分布 \(N(np, np(1-p))\)。标准化和 \(Z_n = \frac{S_n - np}{\sqrt{np(1-p)}}\) 近似服从标准正态分布 \(N(0, 1)\)。 例如，当 \(n = 100\)，\(p = 0.5\) 时，\(S_{100} \sim B(100, 0.5)\) 近似于 \(N(100 \times 0.5, 100 \times 0.5 \times 0.5) = N(50, 25)\)。我们可以用正态分布来近似计算二项分布的概率。例如，计算 \(P(S_{100} \leq 60)\)。 使用正态近似： \[ P(S_{100} \leq 60) \approx P(N(50, 25) \leq 60) = P\left(\frac{N(50, 25) - 50}{\sqrt{25}} \leq \frac{60 - 50}{\sqrt{25}}\right) = P(Z \leq \frac{10}{5}) = P(Z \leq 2) = \Phi(2) \approx 0.9772 \] 其中 \(Z \sim N(0, 1)\)。 例子 9.6 (样本均值的分布) 假设我们从一个总体中随机抽取一个样本 \(X_1, X_2, \ldots, X_n\)，总体均值为 \(\mu\)，总体标准差为 \(\sigma\)。根据中心极限定理，当样本容量 \(n\) 足够大时，样本均值 \(\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i\) 的分布近似于正态分布 \(N(\mu, \sigma^2/n)\)。 这解释了为什么在统计推断中，样本均值被广泛使用，并且许多统计方法都基于正态分布的假设。例如，在构造总体均值的置信区间时，我们通常使用样本均值 \(\bar{X}_n\) 和标准误差 \(SE = \sigma/\sqrt{n}\)，并利用正态分布的性质来计算置信水平。 中心极限定理在各个领域都有广泛的应用，主要体现在以下几个方面： ① 统计推断：中心极限定理是统计推断的基石。在参数估计 (parameter estimation)、假设检验 (hypothesis testing)、置信区间估计 (confidence interval estimation) 等统计推断问题中，我们经常利用中心极限定理来近似样本统计量的分布，从而进行统计分析。 ② 误差分析：在测量和实验中，许多误差可以看作是大量微小独立随机因素累积的结果。根据中心极限定理，这些总误差的分布通常近似于正态分布。这解释了为什么正态分布在误差分析中如此重要。 ③ 排队论：在排队论 (queueing theory) 中，顾客到达数量、服务时间等通常可以看作是随机变量。当顾客数量很大时，系统性能指标（如平均等待时间、队列长度等）的分布可以通过中心极限定理来近似分析。 ④ 金融工程：在金融领域，股票价格波动、资产收益率等常常被建模为随机过程。中心极限定理在金融模型的构建和风险管理中发挥重要作用。例如，Black-Scholes 期权定价模型就假设资产价格服从对数正态分布，这与中心极限定理的思想有关。 ⑤ 自然科学与工程：在物理学、生物学、工程学等领域，许多现象可以看作是大量随机因素共同作用的结果。中心极限定理为理解和分析这些复杂现象提供了有力的工具。例如，在热力学中，气体分子的运动可以看作是大量随机碰撞的结果，气体宏观性质的分布可以用中心极限定理来解释。在通信工程中，噪声信号通常被建模为高斯噪声 (Gaussian noise)，这也是中心极限定理的应用。 例子 9.7 (产品质量控制) 某工厂生产一批零件，每个零件的某个质量指标 \(X\) 服从一定的分布，均值为 \(\mu\)，标准差为 \(\sigma\)。为了控制产品质量，工厂随机抽取 \(n\) 个零件组成一个样本，计算样本均值 \(\bar{X}_n\)。如果 \(\bar{X}_n\) 落在预先设定的合格区间内，则认为这批产品质量合格；否则认为不合格。 根据中心极限定理，当样本容量 \(n\) 足够大时，样本均值 \(\bar{X}_n\) 近似服从正态分布 \(N(\mu, \sigma^2/n)\)。工厂可以根据正态分布的性质，设定合理的合格区间，并计算出产品质量合格的概率。例如，可以设定合格区间为 \([\mu - 2\sigma/\sqrt{n}, \mu + 2\sigma/\sqrt{n}]\)。根据正态分布的 68-95-99.7 规则，样本均值 \(\bar{X}_n\) 落在该区间内的概率约为 95%。 例子 9.8 (民意调查) 在民意调查中，调查机构通常会随机抽取一定数量的受访者，询问他们对某个问题的看法。假设总体中支持某个观点的比例为 \(p\)。在一次随机抽样调查中，抽取 \(n\) 个受访者，记录其中支持该观点的人数 \(S_n\)。样本支持率 \(\hat{p} = \frac{S_n}{n}\) 可以用来估计总体支持率 \(p\)。 根据中心极限定理，当样本容量 \(n\) 足够大时，样本支持率 \(\hat{p}\) 近似服从正态分布 \(N(p, \frac{p(1-p)}{n})\)。调查机构可以利用正态分布的性质，计算出样本支持率 \(\hat{p}\) 的置信区间，从而估计总体支持率 \(p\) 的范围。例如，可以计算 \(\hat{p} \pm 1.96 \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\) 作为总体支持率 \(p\) 的 95% 置信区间。 总结 中心极限定理是概率论和统计学中最重要的定理之一，它揭示了大量独立同分布随机变量之和的分布趋近于正态分布的普遍规律。中心极限定理在理论研究和实际应用中都具有极其重要的价值，为我们理解和分析随机现象、进行统计推断提供了强大的工具。掌握中心极限定理及其应用，对于深入理解概率论和统计学的核心思想至关重要。 随机过程 (Stochastic Process) 是概率论中的一个重要分支，它研究随时间演变的随机现象。与随机变量不同，随机变量描述的是一次随机试验的结果，而随机过程则描述一系列随时间变化的随机事件。在现实世界中，许多现象都可以用随机过程来建模，例如股票价格的波动、排队系统的顾客数量、无线通信中的信号变化以及生物种群数量的演变等。 定义 10.1.1 随机过程 (Stochastic Process) 一个随机过程 \( \{X(t), t \in T\} \) 是指一族随机变量的集合，其中 \( t \) 取自指标集 (index set) \( T \)，而对于每一个 \( t \in T \)，\( X(t) \) 都是一个随机变量。 ⚝ 指标集 (Index Set) \( T \)：指标集 \( T \) 代表时间的集合。它可以是离散的，例如 \( T = \{0, 1, 2, \ldots\} \) 或 \( T = \{1, 2, 3, \ldots\} \)，此时我们称之为离散时间随机过程 (discrete-time stochastic process) 或随机序列 (random sequence)。指标集 \( T \) 也可以是连续的，例如 \( T = [0, \infty) \) 或 \( T = (-\infty, \infty) \)，此时我们称之为连续时间随机过程 (continuous-time stochastic process)。 理解随机过程的关键要素： ① 时间演化 (Evolution in Time)：随机过程的核心在于描述现象随时间的变化。指标集 \( T \) 刻画了时间的维度，而 \( X(t) \) 则是在时间 \( t \) 时的随机状态。 ② 随机性 (Randomness)：对于每一个固定的时间 \( t \)，\( X(t) \) 都是一个随机变量，这意味着其取值是不确定的，服从一定的概率分布。 ③ 样本路径 (Sample Path)：对于一个给定的随机过程 \( \{X(t), t \in T\} \)，如果我们固定一次随机试验的结果，那么随着时间 \( t \) 的变化，\( X(t) \) 的取值会形成一条时间函数，这条函数被称为样本路径 (sample path) 或实现 (realization)。样本路径是理解随机过程动态行为的重要工具。 随机过程的分类： 根据指标集 \( T \) 和状态空间 \( S \) 的性质，随机过程可以进行分类： ⚝ 离散时间随机过程 (Discrete-Time Stochastic Process)：指标集 \( T \) 是离散的，例如 \( T = \{0, 1, 2, \ldots\} \)。也常称为时间序列 (time series)。 常见的随机过程类型： ⚝ 马尔可夫过程 (Markov Process)：未来状态的概率分布只依赖于当前状态，而与过去状态无关的随机过程。马尔可夫链是离散状态空间的马尔可夫过程。 随机过程的描述： 要完整描述一个随机过程，需要知道其联合概率分布 (joint probability distribution)。对于任意 \( n \) 个时间点 \( t_1 < t_2 < \ldots < t_n \)，需要给出随机变量 \( (X(t_1), X(t_2), \ldots, X(t_n)) \) 的联合分布。然而，在实际应用中，完全确定联合分布通常是困难的。因此，我们常常关注随机过程的一些统计特征，例如均值函数 (mean function) 和自协方差函数 (autocovariance function)。 ⚝ 均值函数 (Mean Function)：\( \mu_X(t) = E[X(t)] \)，表示随机过程在时间 \( t \) 的期望值。 应用案例： ⚝ 股票价格模型：股票价格随时间波动可以被视为一个随机过程。例如，可以使用布朗运动或更复杂的随机过程模型来描述股票价格的变化。 随机过程是理解和分析动态随机现象的强大工具，其理论和应用在现代科学和工程领域中扮演着至关重要的角色。 马尔可夫链 (Markov Chain) 是一种重要的离散时间、离散状态空间的随机过程。它的核心特征是马尔可夫性质 (Markov Property)，即未来状态的概率分布只依赖于当前状态，而与过去状态无关。这种“无记忆性”使得马尔可夫链成为分析和建模许多实际问题的有力工具。 定义 10.2.1 马尔可夫链 (Markov Chain) 一个离散时间随机过程 \( \{X_n, n = 0, 1, 2, \ldots\} \) 被称为马尔可夫链，如果它满足马尔可夫性质：对于任意 \( n \ge 0 \) 和任意状态 \( i_0, i_1, \ldots, i_n, j \in S \)，且 \( P(X_0 = i_0, X_1 = i_1, \ldots, X_n = i_n) > 0 \)，有 \[ P(X_{n+1} = j \mid X_0 = i_0, X_1 = i_1, \ldots, X_n = i_n) = P(X_{n+1} = j \mid X_n = i_n) \] 其中 \( S \) 是状态空间，通常是可数集。 直观理解马尔可夫性质： 马尔可夫性质意味着，要预测马尔可夫链在未来时刻的状态，我们只需要知道它当前的状态，而不需要知道它过去是如何到达当前状态的。就像下棋一样，下一步的走法只取决于当前的棋局，而与之前的棋局演变过程无关。 ⚝ 状态空间 (State Space) \( S \)：马尔可夫链的状态空间 \( S \) 是链可能取值的集合。对于离散状态马尔可夫链，\( S \) 是可数集，例如 \( S = \{0, 1, 2, \ldots\} \) 或 \( S = \{1, 2, \ldots, N\} \)。状态空间中的元素称为状态 (state)。 ⚝ 转移概率 (Transition Probability)：从状态 \( i \) 在一步转移到状态 \( j \) 的条件概率称为一步转移概率 (one-step transition probability)，记为 \( p_{ij} \)。 \[ p_{ij} = P(X_{n+1} = j \mid X_n = i) \] 由于马尔可夫性质，一步转移概率 \( p_{ij} \) 与时间 \( n \) 无关，即它是齐次的 (homogeneous)。对于固定的状态 \( i \)，从状态 \( i \) 出发，下一步转移到各个状态的概率之和必须为 1，即 \[ \sum_{j \in S} p_{ij} = 1, \quad \forall i \in S \] 所有一步转移概率 \( p_{ij} \) 可以组成一个矩阵 \( P \)，称为转移概率矩阵 (transition probability matrix)。如果状态空间 \( S \) 是有限的，例如 \( S = \{1, 2, \ldots, N\} \)，则 \( P \) 是一个 \( N \times N \) 的矩阵，其中第 \( i \) 行第 \( j \) 列的元素为 \( p_{ij} \)。 \[ P = \begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1N} \\ p_{21} & p_{22} & \cdots & p_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ p_{N1} & p_{N2} & \cdots & p_{NN} \end{pmatrix} \] 转移概率矩阵 \( P \) 具有以下性质： ① 非负性 (Non-negativity)：\( p_{ij} \ge 0 \) 对于所有 \( i, j \in S \)。 \( n \)步转移概率 (n-step Transition Probability) 从状态 \( i \) 经过 \( n \) 步转移到状态 \( j \) 的概率称为 \( n \)步转移概率，记为 \( p_{ij}^{(n)} \)。 \[ p_{ij}^{(n)} = P(X_{m+n} = j \mid X_m = i) \] 根据 Chapman-Kolmogorov 方程，\( n \)步转移概率可以通过一步转移概率计算得到。对于任意 \( m, n \ge 0 \) 和状态 \( i, j, k \in S \)，有 \[ p_{ij}^{(m+n)} = \sum_{k \in S} p_{ik}^{(m)} p_{kj}^{(n)} \] 特别地，\( n \)步转移概率矩阵 \( P^{(n)} \) 可以通过矩阵乘法计算得到： \[ P^{(n)} = P^n \] 其中 \( P^n \) 表示矩阵 \( P \) 的 \( n \) 次方。 马尔可夫链的分类 (Classification of Markov Chains) ⚝ 不可约马尔可夫链 (Irreducible Markov Chain)：如果从任意状态 \( i \) 出发，经过有限步转移到任意状态 \( j \) 的概率都大于 0，即对于任意 \( i, j \in S \)，存在 \( n \ge 1 \) 使得 \( p_{ij}^{(n)} > 0 \)，则称马尔可夫链是不可约的。不可约性意味着链中的所有状态相互连通。 ⚝ 周期性 (Periodicity)：状态 \( i \) 的周期 (period) \( d(i) \) 定义为集合 \( \{n \ge 1: p_{ii}^{(n)} > 0\} \) 中所有元素的最大公约数 (greatest common divisor, GCD)。如果对于所有状态 \( i \in S \)，\( d(i) = 1 \)，则称马尔可夫链是非周期的 (aperiodic)。如果所有状态的周期都相同，则称马尔可夫链是周期的 (periodic)。 ⚝ 常返性与暂留性 (Recurrence and Transience)：状态 \( i \) 被称为常返状态 (recurrent state)，如果从状态 \( i \) 出发，最终返回状态 \( i \) 的概率为 1。否则，状态 \( i \) 被称为暂留状态 (transient state)。如果马尔可夫链的所有状态都是常返的，则称该链是常返的。在有限状态空间的不可约马尔可夫链中，所有状态都是常返的。 平稳分布 (stationary distribution) 或不变分布 (invariant distribution) 是描述马尔可夫链长期行为的重要概念。它表示当马尔可夫链运行足够长时间后，状态概率分布趋于稳定的一种状态。 定义 10.2.2 平稳分布 (Stationary Distribution) 一个概率分布 \( \pi = (\pi_j, j \in S) \) 被称为马尔可夫链 \( \{X_n\} \) 的平稳分布，如果它满足以下条件： ① 概率分布性质 (Probability Distribution Property)：\( \pi_j \ge 0 \) 对于所有 \( j \in S \)，且 \( \sum_{j \in S} \pi_j = 1 \)。 平稳分布 \( \pi \) 的意义在于，如果初始分布为 \( \pi \)，即 \( P(X_0 = j) = \pi_j \)，那么在任何时刻 \( n \ge 0 \)，状态分布 \( P(X_n = j) \) 仍然是 \( \pi_j \)。也就是说，分布随时间保持不变。 平稳分布的存在性与唯一性 对于不可约、非周期、正常返 (positive recurrent) 的马尔可夫链，存在唯一的平稳分布 \( \pi \)。正常返性意味着从任何状态出发，期望返回到该状态的时间是有限的。在有限状态空间的不可约马尔可夫链中，常返性等价于正常返性。 求解平稳分布 求解平稳分布 \( \pi \) 通常需要解线性方程组 \( \pi = \pi P \) 和归一化条件 \( \sum_{j \in S} \pi_j = 1 \)。具体步骤如下： 遍历定理 (Ergodic Theorem) 对于不可约、非周期、正常返的马尔可夫链，遍历定理描述了长期平均行为与平稳分布之间的关系。它指出，对于任意有界函数 \( f \)，时间平均 \( \frac{1}{n} \sum_{k=1}^{n} f(X_k) \) 几乎必然收敛到 \( \sum_{j \in S} f(j) \pi_j \)，其中 \( \pi \) 是平稳分布。这意味着，在长时间运行下，马尔可夫链的行为会趋近于由平稳分布所描述的平均状态。 应用案例： ⚝ 网页排名 (PageRank)：Google 的 PageRank 算法利用马尔可夫链模型对网页的重要性进行排序。网页之间的链接关系构成马尔可夫链，平稳分布向量中的元素值越高，表示网页的重要性越高。 马尔可夫链作为一种基础而强大的随机过程模型，在各个领域都有广泛的应用，深入理解其性质和应用方法对于解决实际问题至关重要。 泊松过程 (Poisson Process) 是一种重要的连续时间、离散状态空间的随机过程，用于描述单位时间内随机事件发生的次数。它广泛应用于排队论、通信工程、物理学、生物学等领域，用于建模独立事件的随机到达或发生。 定义 10.3.1 泊松过程 (Poisson Process) 一个计数过程 \( \{N(t), t \ge 0\} \) 被称为强度为 \( \lambda > 0 \) 的泊松过程，如果它满足以下条件： ① \( N(0) = 0 \)。 \[ P(N(t+s) - N(s) = k) = P(N(t) = k) = \frac{(\lambda t)^k}{k!} e^{-\lambda t} \] 即增量 \( N(t+s) - N(s) \) 服从参数为 \( \lambda t \) 的泊松分布。 泊松过程的性质： ⚝ 计数过程 (Counting Process)：\( N(t) \) 表示在时间区间 \( [0, t] \) 内发生的事件总数，因此 \( N(t) \) 是非负整数值，且随着 \( t \) 的增加而非递减。 泊松过程的推导 (Derivation of Poisson Process) 泊松过程可以从更基本的假设推导出来。假设在很短的时间间隔 \( \Delta t \) 内，事件发生的概率与 \( \Delta t \) 成正比，且在极短时间内发生两次或以上事件的概率可以忽略不计。具体假设如下： ① 在充分小的时间间隔 \( \Delta t \) 内，发生一次事件的概率近似为 \( \lambda \Delta t \)。 基于这些假设，可以推导出 \( N(t) \) 服从泊松分布。 到达时间间隔 (Inter-arrival Times) 设 \( T_1 \) 是第一次事件发生的时间，\( T_2 \) 是第二次事件发生的时间，依此类推，\( T_n \) 是第 \( n \) 次事件发生的时间。定义到达时间间隔 \( S_n = T_n - T_{n-1} \) (约定 \( T_0 = 0 \))，表示第 \( (n-1) \) 次事件和第 \( n \) 次事件之间的时间间隔。可以证明，泊松过程的到达时间间隔 \( \{S_n, n \ge 1\} \) 是一系列独立同分布 (independent and identically distributed, i.i.d.) 的指数分布 (exponential distribution) 随机变量，且参数为 \( \lambda \)。即 \( S_n \sim Exp(\lambda) \)，其概率密度函数 (PDF) 为： \[ f_{S_n}(x) = \lambda e^{-\lambda x}, \quad x \ge 0 \] 反之，如果到达时间间隔 \( \{S_n\} \) 是一系列 i.i.d. 的指数分布随机变量，则由这些到达时间间隔定义的计数过程 \( N(t) \) 就是泊松过程。 泊松过程的推广 ⚝ 非齐次泊松过程 (Non-homogeneous Poisson Process)：强度 \( \lambda \) 是时间的函数 \( \lambda(t) \)，即事件发生的速率随时间变化。此时，增量 \( N(t, t+s) = N(t+s) - N(t) \) 服从均值为 \( \int_{t}^{t+s} \lambda(u) du \) 的泊松分布。 应用案例： ⚝ 顾客到达模型：在排队论中，顾客到达服务台的过程常常用泊松过程建模。例如，单位时间内到达银行柜台的顾客数、呼叫中心接到的电话数等。 泊松过程以其简洁的数学形式和广泛的应用场景，成为概率论和随机过程领域的重要模型之一。 布朗运动 (Brownian Motion)，也称为维纳过程 (Wiener Process)，是一种重要的连续时间、连续状态空间的随机过程。它最初由植物学家罗伯特·布朗 (Robert Brown) 在 1827 年观察到悬浮在液体中的花粉粒子的不规则运动而得名。后来，阿尔伯特·爱因斯坦 (Albert Einstein) 在 1905 年用统计物理学理论解释了布朗运动，并指出这种运动是由液体分子对微粒的随机碰撞引起的。布朗运动在金融数学、物理学、工程学等领域有着广泛的应用。 定义 10.4.1 标准布朗运动 (Standard Brownian Motion) 一个实值连续时间随机过程 \( \{B(t), t \ge 0\} \) 被称为标准布朗运动，如果它满足以下条件： ① \( B(0) = 0 \)。 布朗运动的性质： ⚝ 起始于 0 (Starts at 0)：\( B(0) = 0 \)。 布朗运动的构造 (Construction of Brownian Motion) 布朗运动可以通过多种方式构造，其中一种常用的方法是利用正态分布随机变量的累积和。例如，可以构造一系列 i.i.d. 的标准正态分布随机变量 \( \{Z_i\}_{i=1}^{\infty} \)，然后定义随机折线过程来逼近布朗运动。 多维布朗运动 (Multidimensional Brownian Motion) \( d \) 维布朗运动 \( \mathbf{B}(t) = (B_1(t), B_2(t), \ldots, B_d(t)) \) 是指其每个分量 \( B_i(t) \) 都是相互独立的标准布朗运动。 应用案例： ⚝ 金融模型：在金融数学中，布朗运动是 Black-Scholes 期权定价模型的基础。股票价格、利率等金融资产的价格波动常常用布朗运动或其推广模型来描述。 布朗运动作为一种基本且重要的连续时间随机过程，不仅在理论研究中占据核心地位，也在实际应用中发挥着不可替代的作用。深入理解布朗运动的性质和应用，对于学习高级概率论和随机过程至关重要。 概率论在现代金融领域中扮演着至关重要的角色。金融市场的本质是风险和不确定性，而概率论正是量化和管理这些风险的数学工具。从资产定价、投资组合管理到风险管理和衍生品定价，概率论都提供了理论基础和实用方法。 ① 资产定价 (Asset Pricing)： 概率论是构建资产定价模型的核心。有效市场假说 (Efficient Market Hypothesis, EMH) 认为，资产价格充分反映了所有可获得的信息，价格的变动具有随机性。 ⚝ 随机游走模型 (Random Walk Model)：股票价格的变动可以近似地看作随机游走过程。这意味着今天的价格是在昨天的价格基础上，加上一个随机的扰动项。 ⚝ 资本资产定价模型 (Capital Asset Pricing Model, CAPM)：CAPM 是一个经典的资产定价模型，它基于投资组合理论和市场均衡假设，描述了资产的预期收益率与系统性风险 (Systematic Risk) 之间的关系。CAPM 使用 β (Beta) 系数来衡量资产的系统性风险，并用概率论中的期望值概念来计算预期收益率。 ② 投资组合管理 (Portfolio Management)： 投资组合理论 (Portfolio Theory) 利用概率论来优化投资组合的风险和收益。投资者通过分散投资 (Diversification) 来降低非系统性风险 (Unsystematic Risk)。 ⚝ 均值-方差模型 (Mean-Variance Model)：由 Harry Markowitz 提出的均值-方差模型是现代投资组合理论的基石。该模型使用资产的预期收益率的均值和方差来衡量收益和风险，并利用协方差 (Covariance) 来描述不同资产之间的相关性。投资者可以通过求解优化问题，找到在给定风险水平下收益最大化，或在给定收益水平下风险最小化的投资组合。 ⚝ 有效前沿 (Efficient Frontier)：均值-方差模型导出了有效前沿的概念，它代表了在所有可能的风险水平下，收益最高的投资组合的集合。投资者可以根据自身的风险偏好，在有效前沿上选择合适的投资组合。 ③ 风险管理 (Risk Management)： 金融机构需要量化和管理各种风险，包括市场风险 (Market Risk)、信用风险 (Credit Risk) 和操作风险 (Operational Risk) 等。概率论提供了量化风险的重要工具。 ⚝ 风险价值 (Value at Risk, VaR)：VaR 是一种常用的风险度量方法，它表示在给定的置信水平下，投资组合在一定时期内可能遭受的最大损失。VaR 的计算依赖于对资产收益率分布的估计，通常假设收益率服从正态分布或其他概率分布。 ⚝ 预期损失 (Expected Shortfall, ES)：ES 又称条件风险价值 (Conditional Value at Risk, CVaR)，是 VaR 的改进。ES 衡量的是当损失超过 VaR 时，平均的损失大小。相比 VaR，ES 更能全面地反映尾部风险 (Tail Risk)。 ⚝ 压力测试 (Stress Testing)：压力测试是一种模拟极端市场情景，评估金融机构在极端条件下可能遭受损失的方法。压力测试需要使用概率论来构建极端情景，并评估其发生的概率和影响。 ④ 衍生品定价 (Derivative Pricing)： 衍生品 (Derivatives) 的价值取决于标的资产 (Underlying Asset) 的价格变动。概率论和随机过程理论是衍生品定价的核心工具。 ⚝ 布莱克-斯科尔斯模型 (Black-Scholes Model)：Black-Scholes 模型是期权定价理论的里程碑，它基于标的资产价格服从几何布朗运动 (Geometric Brownian Motion) 的假设，利用伊藤引理 (Itô's Lemma) 和风险中性定价 (Risk-Neutral Pricing) 原理，推导出欧式期权 (European Option) 的理论价格公式。 ⚝ 蒙特卡洛模拟 (Monte Carlo Simulation)：对于复杂的衍生品，解析解可能难以获得。蒙特卡洛模拟是一种通过大量随机模拟标的资产价格路径，然后计算衍生品价格的数值方法。蒙特卡洛模拟在期权定价、风险管理和金融工程 (Financial Engineering) 中得到广泛应用。 案例分析： 2008年金融危机中，许多金融机构由于低估了次贷资产 (Subprime Mortgage Assets) 的风险，导致巨额亏损。事后反思表明，过度依赖基于正态分布的风险模型，而忽视了尾部风险是危机爆发的重要原因之一。此案例突显了在金融领域应用概率论时，不仅要掌握理论模型，还要深刻理解模型的局限性，并不断改进风险管理方法。 参考文献： ⚝ Hull, J. C. (2018). Options, futures, and other derivatives. Pearson Education. 概率论是统计推断 (Statistical Inference) 的理论基础。统计推断的目标是从样本数据中推断总体 (Population) 的特征。概率论为构建统计模型、设计统计方法和评估推断结果的可靠性提供了数学框架。 ① 参数估计 (Parameter Estimation)： 参数估计是利用样本数据估计总体参数 (Population Parameter) 的过程。概率论中的点估计 (Point Estimation) 和区间估计 (Interval Estimation) 方法都基于概率模型。 ⚝ 最大似然估计 (Maximum Likelihood Estimation, MLE)：MLE 是一种常用的点估计方法。其基本思想是选择使样本数据出现的概率（似然函数 (Likelihood Function)）最大化的参数值作为估计值。MLE 具有良好的统计性质，如一致性 (Consistency) 和渐近正态性 (Asymptotic Normality)。 ⚝ 置信区间 (Confidence Interval)：置信区间是对总体参数的区间估计，它表示在给定的置信水平下，总体参数可能落入的范围。置信区间的构建基于抽样分布 (Sampling Distribution) 理论，利用样本统计量 (Sample Statistic) 的概率分布来推断总体参数的范围。例如，样本均值的置信区间可以利用中心极限定理 (Central Limit Theorem, CLT) 和正态分布来构建。 ② 假设检验 (Hypothesis Testing)： 假设检验是判断样本数据是否支持某个关于总体的假设的过程。概率论为假设检验提供了理论框架和方法。 ⚝ 零假设 (Null Hypothesis) 与备择假设 (Alternative Hypothesis)：假设检验首先提出一个关于总体的零假设 \( H_{0} \) 和一个备择假设 \( H_{1} \)。例如，检验两个总体的均值是否相等，零假设可以是 \( H_{0}: \mu_{1} = \mu_{2} \)，备择假设可以是 \( H_{1}: \mu_{1} \neq \mu_{2} \)。 ⚝ 显著性水平 (Significance Level) 与 p 值 (p-value)：显著性水平 \( \alpha \) 是预先设定的拒绝零假设的概率阈值，通常取 0.05 或 0.01。p 值是在零假设为真的条件下，观察到样本数据或更极端数据的概率。如果 p 值小于显著性水平 \( \alpha \)，则拒绝零假设，认为样本数据提供了足够的证据支持备择假设。 ⚝ 检验统计量 (Test Statistic) 与拒绝域 (Rejection Region)：假设检验需要构造一个检验统计量，其分布在零假设成立时是已知的。根据检验统计量的分布和显著性水平，可以确定拒绝域。如果检验统计量的值落入拒绝域，则拒绝零假设。常见的检验统计量包括 t 统计量 (t-statistic)、F 统计量 (F-statistic) 和卡方统计量 (Chi-squared statistic) 等。 ③ 回归分析 (Regression Analysis)： 回归分析是研究变量之间关系的一种统计方法。概率论为构建回归模型、估计模型参数和检验模型有效性提供了理论基础。 ⚝ 线性回归模型 (Linear Regression Model)：线性回归模型假设因变量 (Dependent Variable) 与自变量 (Independent Variable) 之间存在线性关系，并加入随机误差项 (Random Error Term) 来解释模型无法解释的变异。误差项通常假设服从均值为零的正态分布。 ⚝ 最小二乘法 (Ordinary Least Squares, OLS)：OLS 是估计线性回归模型参数的常用方法。其目标是最小化残差平方和 (Residual Sum of Squares, RSS)。OLS 估计量具有最优的线性无偏估计 (Best Linear Unbiased Estimator, BLUE) 性质（在 Gauss-Markov 条件下）。 ⚝ 模型检验 (Model Diagnostics)：回归分析需要检验模型的有效性，包括检验误差项的正态性、同方差性 (Homoscedasticity) 和独立性等。概率论中的各种统计检验方法被用于模型检验。 ④ 贝叶斯统计 (Bayesian Statistics)： 贝叶斯统计是一种基于贝叶斯定理 (Bayes' Theorem) 的统计推断方法。与频率学派 (Frequentist) 统计不同，贝叶斯统计将参数视为随机变量，并利用先验信息 (Prior Information) 和样本数据（似然函数）来更新对参数的认识，得到后验分布 (Posterior Distribution)。 ⚝ 先验分布 (Prior Distribution)、似然函数 (Likelihood Function) 和后验分布 (Posterior Distribution)：贝叶斯定理将先验分布和似然函数结合起来，得到后验分布。后验分布包含了关于参数的所有信息。 ⚝ 贝叶斯估计 (Bayesian Estimation) 与贝叶斯假设检验 (Bayesian Hypothesis Testing)：贝叶斯估计通常使用后验分布的均值、中位数或众数作为参数的点估计。贝叶斯假设检验则通过比较不同假设的后验概率来判断哪个假设更受数据支持。 案例分析： 在医学研究中，临床试验 (Clinical Trial) 的结果需要进行统计分析，以判断新药或疗法是否有效。假设检验被广泛应用于临床试验的数据分析中，例如，检验新药组和安慰剂组在疗效指标上是否存在显著差异。贝叶斯统计方法也越来越多地应用于临床试验设计和分析中，特别是在适应性临床试验 (Adaptive Clinical Trial) 中，可以根据试验过程中获得的数据动态调整试验方案。 参考文献： ⚝ Casella, G., & Berger, R. L. (2002). Statistical inference. Cengage Learning. 概率论在计算机科学的各个领域都有广泛的应用，尤其是在算法设计与分析、人工智能 (Artificial Intelligence, AI)、网络通信和信息安全等方面。 ① 算法设计与分析 (Algorithm Design and Analysis)： 概率论在算法设计中用于构建随机化算法 (Randomized Algorithm)，在算法分析中用于评估算法的平均性能 (Average-case Performance)。 ⚝ 随机化算法 (Randomized Algorithm)：随机化算法在算法执行过程中引入随机性，通过随机选择来达到优化算法性能或简化算法设计的目的。例如，快速排序 (Quicksort) 算法的随机化版本通过随机选择枢轴元素 (Pivot Element) 来避免最坏情况的发生，从而获得平均时间复杂度为 \( O(n \log n) \) 的高效性能。 ⚝ 平均情况分析 (Average-case Analysis)：对于某些算法，最坏情况分析 (Worst-case Analysis) 可能过于悲观，不能真实反映算法的实际性能。平均情况分析利用概率论来计算算法在典型输入下的平均运行时间。这通常需要假设输入数据服从某种概率分布，然后计算算法运行时间的期望值。 ⚝ 蒙特卡洛算法 (Monte Carlo Algorithm) 与拉斯维加斯算法 (Las Vegas Algorithm)：蒙特卡洛算法是一种可能产生错误结果的随机化算法，但其运行时间是确定的。拉斯维加斯算法是一种总是产生正确结果的随机化算法，但其运行时间是随机的。概率论用于分析这两种算法的错误概率和期望运行时间。 ② 人工智能 (Artificial Intelligence, AI)： 概率论是人工智能，特别是机器学习 (Machine Learning) 的核心数学工具。许多机器学习模型和算法都基于概率论和统计学原理。 ⚝ 概率图模型 (Probabilistic Graphical Model)：概率图模型，如贝叶斯网络 (Bayesian Network) 和马尔可夫网络 (Markov Network)，利用图结构来表示变量之间的概率依赖关系。概率图模型广泛应用于知识表示 (Knowledge Representation)、推理 (Reasoning) 和决策 (Decision Making) 等领域。 ⚝ 机器学习算法 (Machine Learning Algorithms)：许多机器学习算法都基于概率论，例如： ⚝ 不确定性推理 (Uncertainty Reasoning)：人工智能系统需要在不确定性条件下进行推理和决策。概率论提供了处理不确定性的数学框架，例如，贝叶斯网络可以用于表示和推理不确定性知识。 ③ 网络通信 (Network Communication)： 概率论在网络通信中用于分析网络性能、设计网络协议和优化网络资源分配。 ⚝ 排队论 (Queueing Theory)：排队论是研究服务系统中排队现象的数学理论。网络通信系统中的数据包传输、服务器请求处理等都可以看作排队系统。排队论利用概率论来分析排队系统的性能指标，如平均等待时间 (Average Waiting Time)、平均队列长度 (Average Queue Length) 和系统吞吐量 (System Throughput)。 ⚝ 网络性能分析 (Network Performance Analysis)：概率论用于分析网络延迟 (Network Delay)、丢包率 (Packet Loss Rate) 和吞吐量等性能指标。例如，泊松过程 (Poisson Process) 常被用于建模网络流量 (Network Traffic) 的到达过程。 ⚝ 无线通信 (Wireless Communication)：无线信道 (Wireless Channel) 的特性具有随机性，如衰落 (Fading) 和噪声 (Noise)。概率论用于建模无线信道，设计可靠的无线通信系统。例如，瑞利衰落信道 (Rayleigh Fading Channel) 和莱斯衰落信道 (Rician Fading Channel) 是常用的无线信道模型。 ④ 信息安全 (Information Security)： 概率论在信息安全中用于密码学 (Cryptography)、入侵检测 (Intrusion Detection) 和风险评估 (Risk Assessment) 等方面。 ⚝ 密码学 (Cryptography)：概率论用于分析密码算法的安全性。例如，密码分析 (Cryptanalysis) 利用概率统计方法来破解密码。信息论 (Information Theory) 中的熵 (Entropy) 概念也与密码学的安全性密切相关。 ⚝ 入侵检测 (Intrusion Detection)：入侵检测系统 (Intrusion Detection System, IDS) 需要检测网络攻击和异常行为。概率论和统计学方法被用于构建异常检测模型，例如，基于统计异常检测 (Statistical Anomaly Detection) 的 IDS 通过分析网络流量的统计特征，识别与正常行为模式的偏差。 ⚝ 风险评估 (Risk Assessment)：信息安全风险评估需要量化安全威胁 (Security Threat) 的概率和影响。概率论提供了量化风险的工具，例如，风险矩阵 (Risk Matrix) 和事件树分析 (Event Tree Analysis) 等方法。 案例分析： 搜索引擎 (Search Engine) 的核心算法，如 PageRank 算法，就使用了概率论的思想。PageRank 算法通过模拟随机冲浪者 (Random Surfer) 在网页之间的随机游走，计算网页的重要性 (Page Importance)。网页的 PageRank 值越高，表示该网页被随机冲浪者访问的概率越高，因此在搜索结果中排名越靠前。 参考文献： ⚝ Cormen, T. H., Leiserson, C. E., Rivest, R. L., & Stein, C. (2009). Introduction to algorithms. MIT press. 概率论在工程学的各个分支中都有广泛的应用，特别是在可靠性工程 (Reliability Engineering)、质量控制 (Quality Control)、信号处理 (Signal Processing) 和随机控制 (Stochastic Control) 等领域。 ① 可靠性工程 (Reliability Engineering)： 可靠性工程关注产品或系统在一定时间内正常工作的概率（可靠性 (Reliability)）。概率论是可靠性分析和设计的核心工具。 ⚝ 可靠性指标 (Reliability Metrics)：常用的可靠性指标包括： ⚝ 可靠性模型 (Reliability Models)：常用的可靠性模型包括： ⚝ 加速寿命试验 (Accelerated Life Testing, ALT)：ALT 是通过在高于正常工作条件的环境下进行试验，加速产品失效过程，从而在较短时间内评估产品可靠性的方法。ALT 的数据分析需要使用概率论和统计学方法。 ② 质量控制 (Quality Control)： 质量控制旨在保证产品质量符合预定标准。概率论和统计学方法被广泛应用于质量控制的各个环节，包括抽样检验 (Sampling Inspection)、过程能力分析 (Process Capability Analysis) 和统计过程控制 (Statistical Process Control, SPC)。 ⚝ 抽样检验 (Sampling Inspection)：抽样检验是从一批产品中随机抽取一部分样本进行检验，根据样本的检验结果来判断整批产品是否合格的方法。抽样检验方案的设计需要考虑抽样方案的类型（如计数抽样 (Attribute Sampling) 和计量抽样 (Variable Sampling)）、样本量 (Sample Size) 和合格判定标准 (Acceptance Criteria)。概率论用于计算抽样方案的检验效能 (Operating Characteristic, OC) 曲线和平均检出质量限 (Average Outgoing Quality Limit, AOQL) 等指标。 ⚝ 过程能力分析 (Process Capability Analysis)：过程能力分析是评估生产过程满足质量要求的能力的方法。过程能力指数 (Process Capability Index)，如 \( C_{p} \) 和 \( C_{pk} \)，是常用的过程能力度量指标。过程能力分析需要假设产品质量特性服从某种概率分布（通常是正态分布），然后计算过程能力指数。 ⚝ 统计过程控制 (Statistical Process Control, SPC)：SPC 是一种利用统计方法监控生产过程，及时发现和消除异常波动，保证过程处于受控状态的质量管理方法。控制图 (Control Chart) 是 SPC 的核心工具，如均值控制图 ( \( \bar{X} \) Chart) 和极差控制图 (R Chart)。控制图的原理基于中心极限定理和正态分布，利用样本统计量的抽样分布来设定控制限 (Control Limits)。 ③ 信号处理 (Signal Processing)： 信号处理是分析、解释和提取信号中信息的学科。概率论和随机过程理论是信号处理的数学基础，尤其是在随机信号处理 (Random Signal Processing) 领域。 ⚝ 随机信号 (Random Signal) 与确定性信号 (Deterministic Signal)：随机信号是指在不同时刻取值具有随机性的信号，其特性只能用概率统计方法描述。确定性信号是指在任何时刻取值都是确定的信号，可以用数学函数精确描述。实际工程中遇到的许多信号，如噪声、语音信号和无线通信信号，都可以看作随机信号。 ⚝ 随机过程 (Stochastic Process)：随机过程是随时间演化的随机变量序列。随机信号可以看作随机过程的样本函数 (Sample Function)。常用的随机过程模型包括平稳随机过程 (Stationary Stochastic Process)、高斯过程 (Gaussian Process) 和马尔可夫过程 (Markov Process) 等。 ⚝ 信号滤波 (Signal Filtering) 与信号检测 (Signal Detection)：信号滤波是从含噪声的信号中提取有用信号的过程。常用的滤波方法包括维纳滤波 (Wiener Filter) 和卡尔曼滤波 (Kalman Filter)。信号检测是从噪声背景中检测出有用信号的过程。最优检测器 (Optimal Detector) 的设计通常基于贝叶斯决策理论 (Bayesian Decision Theory) 和似然比检验 (Likelihood Ratio Test)。 ④ 随机控制 (Stochastic Control)： 随机控制是研究在随机扰动下，如何设计控制策略，使系统性能最优的学科。概率论和随机过程理论是随机控制的理论基础。 ⚝ 随机系统建模 (Stochastic System Modeling)：随机控制系统通常用随机微分方程 (Stochastic Differential Equation, SDE) 或随机差分方程 (Stochastic Difference Equation) 描述。例如，线性随机系统可以用状态空间模型 (State-Space Model) 表示，其中系统状态和观测都受到随机噪声的影响。 ⚝ 最优控制 (Optimal Control)：随机最优控制的目标是找到使系统性能指标（如期望成本函数 (Expected Cost Function)）最小化的控制策略。常用的最优控制方法包括动态规划 (Dynamic Programming) 和线性二次高斯控制 (Linear Quadratic Gaussian Control, LQG)。 ⚝ 自适应控制 (Adaptive Control)：自适应控制是根据系统运行过程中获得的信息，在线调整控制策略，以适应系统参数变化或环境扰动的控制方法。概率论和统计学方法被用于系统参数估计和不确定性建模。 案例分析： 在土木工程 (Civil Engineering) 中，桥梁和建筑物的结构设计需要考虑地震、风力等随机荷载 (Random Load)。概率论被用于建模随机荷载，评估结构在随机荷载作用下的可靠性和安全性。例如，蒙特卡洛模拟可以用于评估复杂结构的失效概率。 参考文献： ⚝ O'Connor, P. D. T., & Kleyner, A. (2011). Practical reliability engineering. John Wiley & Sons. 概率论在生物医学领域有着广泛而深入的应用，涵盖了流行病学 (Epidemiology)、生物统计学 (Biostatistics)、基因组学 (Genomics)、医学影像 (Medical Imaging) 和药物研发 (Drug Discovery) 等多个方面。 ① 流行病学 (Epidemiology)： 流行病学是研究疾病在人群中分布和影响因素的学科。概率论和统计学方法是流行病学研究的核心工具。 ⚝ 疾病发生率与患病率 (Incidence and Prevalence)：疾病发生率 (Incidence Rate) 是指在一定时期内，新发病例在易感人群中的发生频率。患病率 (Prevalence Rate) 是指在某一时刻，人群中患病人数的比例。概率论用于建模疾病的发生过程，估计疾病发生率和患病率。 ⚝ 传染病模型 (Infectious Disease Models)：传染病模型，如 SIR 模型 (Susceptible-Infected-Recovered Model) 和 SEIR 模型 (Susceptible-Exposed-Infected-Recovered Model)，利用微分方程和概率论来描述传染病在人群中的传播 dynamics。这些模型可以用于预测疫情发展趋势，评估干预措施的效果。 ⚝ 风险因素分析 (Risk Factor Analysis)：流行病学研究旨在识别疾病的风险因素。统计学方法，如回归分析和生存分析 (Survival Analysis)，被用于分析风险因素与疾病发生之间的关系，并量化风险因素的影响程度。 ② 生物统计学 (Biostatistics)： 生物统计学是将统计学方法应用于生物学和医学研究的学科。概率论是生物统计学的理论基础。 ⚝ 临床试验设计与分析 (Clinical Trial Design and Analysis)：临床试验是评估新药或疗法疗效和安全性的研究。生物统计学在临床试验的各个阶段都发挥着关键作用，包括试验设计 (Trial Design)、样本量计算 (Sample Size Calculation)、数据分析 (Data Analysis) 和结果解释 (Result Interpretation)。概率论和统计推断方法被用于比较不同治疗组的疗效差异，评估药物的安全性。 ⚝ 生存分析 (Survival Analysis)：生存分析是研究生存时间数据 (Time-to-Event Data) 的统计方法。生存时间数据是指从某个起始事件（如诊断、治疗开始）到某个终点事件（如死亡、疾病复发）的时间。生存分析方法，如 Kaplan-Meier 曲线 (Kaplan-Meier Curve) 和 Cox 比例风险模型 (Cox Proportional Hazards Model)，被广泛应用于医学研究中，例如，研究患者的生存时间、疾病复发时间等。 ⚝ 纵向数据分析 (Longitudinal Data Analysis)：纵向数据是指在不同时间点对同一研究对象重复测量得到的数据。纵向数据分析方法，如混合效应模型 (Mixed-Effects Model) 和广义估计方程 (Generalized Estimating Equations, GEE)，被用于分析随时间变化的生物医学数据，例如，研究疾病进展过程、药物疗效的长期效应等。 ③ 基因组学 (Genomics)： 基因组学是研究生物体基因组结构、功能和演化的学科。概率论和统计学方法在基因组学研究中扮演着重要角色，尤其是在基因序列分析 (Gene Sequence Analysis)、基因表达分析 (Gene Expression Analysis) 和遗传关联研究 (Genome-Wide Association Study, GWAS) 等方面。 ⚝ 基因序列分析 (Gene Sequence Analysis)：基因序列分析包括序列比对 (Sequence Alignment)、基因组组装 (Genome Assembly) 和基因预测 (Gene Prediction) 等。概率模型，如隐马尔可夫模型 (Hidden Markov Model, HMM)，被用于基因序列的模式识别和功能注释。 ⚝ 基因表达分析 (Gene Expression Analysis)：基因表达分析是研究基因活性水平的学科。基因表达数据，如 RNA-Seq 数据和微阵列数据 (Microarray Data)，需要使用统计学方法进行预处理 (Preprocessing)、标准化 (Normalization) 和差异基因表达分析 (Differential Gene Expression Analysis)。 ⚝ 全基因组关联研究 (Genome-Wide Association Study, GWAS)：GWAS 旨在寻找与疾病相关的遗传变异 (Genetic Variation)。GWAS 数据分析需要使用统计学方法进行关联分析 (Association Analysis)，检验基因组上的单核苷酸多态性 (Single Nucleotide Polymorphism, SNP) 与疾病表型 (Disease Phenotype) 之间的关联性。 ④ 医学影像 (Medical Imaging)： 医学影像技术，如 X 射线计算机断层扫描 (X-ray Computed Tomography, CT)、磁共振成像 (Magnetic Resonance Imaging, MRI) 和正电子发射断层扫描 (Positron Emission Tomography, PET)，产生大量的医学图像数据。概率论和统计学方法被用于医学图像处理 (Medical Image Processing)、图像分割 (Image Segmentation)、图像配准 (Image Registration) 和计算机辅助诊断 (Computer-Aided Diagnosis, CAD)。 ⚝ 医学图像处理 (Medical Image Processing)：医学图像处理包括图像去噪 (Image Denoising)、图像增强 (Image Enhancement) 和图像重建 (Image Reconstruction) 等。概率模型和统计滤波方法，如高斯滤波 (Gaussian Filter) 和中值滤波 (Median Filter)，被用于图像去噪。 ⚝ 图像分割 (Image Segmentation) 与图像配准 (Image Registration)：图像分割是将图像划分为不同区域的过程，例如，将 CT 图像中的肿瘤区域分割出来。图像配准是将来自不同时间、不同模态或不同个体的图像对齐的过程。概率模型和优化算法被用于图像分割和图像配准。 ⚝ 计算机辅助诊断 (Computer-Aided Diagnosis, CAD)：CAD 系统利用计算机技术辅助医生进行疾病诊断。机器学习和模式识别方法被用于 CAD 系统的开发，例如，训练分类器 (Classifier) 对医学图像进行分类，辅助医生诊断疾病。 ⑤ 药物研发 (Drug Discovery)： 药物研发是一个复杂、耗时且高风险的过程。概率论和统计学方法在药物研发的各个阶段都有应用，包括药物靶点发现 (Drug Target Discovery)、先导化合物筛选 (Lead Compound Screening)、临床前试验 (Preclinical Trial) 和临床试验 (Clinical Trial)。 ⚝ 药物靶点发现 (Drug Target Discovery) 与先导化合物筛选 (Lead Compound Screening)：生物信息学和计算生物学方法被用于药物靶点发现和先导化合物筛选。统计学方法被用于分析生物数据，识别潜在的药物靶点，筛选具有药物活性的化合物。 ⚝ 临床前试验 (Preclinical Trial) 与临床试验 (Clinical Trial)：临床前试验和临床试验是评估药物安全性和有效性的关键阶段。生物统计学方法被广泛应用于临床前试验和临床试验的设计、数据分析和结果解释。 ⚝ 药物基因组学 (Pharmacogenomics)：药物基因组学是研究个体基因变异对药物反应影响的学科。概率论和统计学方法被用于分析药物基因组学数据，预测个体对药物的反应，实现个体化医疗 (Personalized Medicine)。 案例分析： 精准医疗 (Precision Medicine) 是近年来生物医学领域的热点方向。精准医疗的核心思想是根据个体的基因、环境和生活方式等特征，制定个性化的诊疗方案。概率论和统计学方法是精准医疗的理论基础和技术支撑，例如，贝叶斯网络可以用于整合多组学数据 (Multi-omics Data)，构建个体化的疾病风险预测模型和治疗方案推荐系统。 参考文献： ⚝ Rothman, K. J., Greenland, S., & Lash, T. L. (2008). Modern epidemiology. Lippincott Williams & Wilkins. 鞅论 (Martingale Theory) 是概率论中一个非常重要的分支，它研究的是在随机过程中，关于未来事件的条件期望保持不变的性质。鞅的概念起源于赌博，一个“公平”的赌局可以用鞅来描述。更广泛地说，鞅论在金融数学、统计物理、以及随机控制等领域都有着深刻的应用。 为了理解鞅，我们首先需要了解条件期望 (Conditional Expectation) 的概念。在概率论中，给定一些信息（通常用一个 \(\sigma\)-代数 \(\mathcal{F}\) 表示），随机变量 \(X\) 的条件期望 \(E[X|\mathcal{F}]\) 是在已知 \(\mathcal{F}\) 所包含的信息下，对 \(X\) 的最佳预测。 现在，我们来定义鞅、下鞅和上鞅。考虑一个离散时间随机过程 \(\{X_n\}_{n \ge 0}\) 和一个过滤 \(\{\mathcal{F}_n\}_{n \ge 0}\)，其中 \(\mathcal{F}_n\) 代表到时刻 \(n\) 为止的所有信息。我们称 \(\{X_n\}_{n \ge 0}\) 是一个 鞅 (Martingale)，如果它满足以下条件： ① 可积性 (Integrability): \(E[|X_n|] < \infty\) 对于所有 \(n \ge 0\)。 鞅性质 \(E[X_{n+1} | \mathcal{F}_n] = X_n\) 的意义在于，在已知到时刻 \(n\) 的所有信息 \(\mathcal{F}_n\) 的条件下，随机变量 \(X_{n+1}\) 的条件期望等于当前值 \(X_n\)。这意味着，从当前时刻 \(n\) 来看，未来值 \(X_{n+1}\) 的期望既不会增加也不会减少，是“公平”的。 类似地，我们定义 下鞅 (Submartingale) 和 上鞅 (Supermartingale)。 ⚝ 如果随机过程 \(\{X_n\}_{n \ge 0}\) 满足条件 ① 可积性 和 ② 适应性，以及以下条件： ⚝ 如果随机过程 \(\{X_n\}_{n \ge 0}\) 满足条件 ① 可积性 和 ② 适应性，以及以下条件： 理解鞅的最好方式是通过一些具体的例子。 ① 随机游走 (Random Walk)：考虑一个对称的随机游走。设 \(Z_1, Z_2, \ldots\) 是一系列独立同分布 (i.i.d.) 的随机变量，且 \(P(Z_i = 1) = P(Z_i = -1) = 1/2\)。定义 \(X_n = \sum_{i=1}^n Z_i\)，\(X_0 = 0\)。令 \(\mathcal{F}_n = \sigma(Z_1, \ldots, Z_n)\) 为由 \(Z_1, \ldots, Z_n\) 生成的 \(\sigma\)-代数。我们可以验证 \(\{X_n\}_{n \ge 0}\) 是一个鞅。 ② 赌博中的公平赌局 (Fair Game in Gambling)：假设你在一个公平的赌局中赌博。每次下注，你赢或输的概率相等。设 \(W_i\) 是第 \(i\) 次赌博的盈亏，\(W_i = 1\) 表示赢，\(W_i = -1\) 表示输，且 \(P(W_i = 1) = P(W_i = -1) = 1/2\)。设 \(M_n\) 是你在 \(n\) 次赌博后的总资产，\(M_n = M_0 + \sum_{i=1}^n W_i\)，其中 \(M_0\) 是初始资产。则 \(\{M_n\}_{n \ge 0}\) 是一个鞅（假设赌局是公平的，即期望盈亏为零）。 ③ 布朗运动 (Brownian Motion)：设 \(\{B_t\}_{t \ge 0}\) 是一个标准的布朗运动，\(\mathcal{F}_t = \sigma(B_s : 0 \le s \le t)\) 是自然过滤。那么 \(\{B_t\}_{t \ge 0}\) 是一个连续时间鞅。对于 \(s < t\)， ④ 指数鞅 (Exponential Martingale)：设 \(\{B_t\}_{t \ge 0}\) 是一个标准的布朗运动，\(\lambda\) 是一个常数。定义 \(X_t = \exp(\lambda B_t - \frac{1}{2} \lambda^2 t)\)。则 \(\{X_t\}_{t \ge 0}\) 是一个鞅。这个鞅在随机微积分和金融数学中非常重要。 鞅论中一个非常重要的定理是 停时定理 (Stopping Time Theorem)。停时 (Stopping Time) 是一个随机变量 \(\tau\)，其取值在 \(\{0, 1, 2, \ldots, \infty\}\) 中，且对于每个 \(n\)，事件 \(\{\tau \le n\}\) 仅依赖于到时刻 \(n\) 为止的信息，即 \(\{\tau \le n\} \in \mathcal{F}_n\)。直观地说，停时是指我们决定停止观察随机过程的时刻，而这个决定只能基于当前和过去的信息，不能预见未来。 停时定理描述了在停时 \(\tau\) 停止的鞅 \(X_\tau\) 的期望性质。在适当的条件下，如果 \(\{X_n\}_{n \ge 0}\) 是一个鞅，\(\tau\) 是一个停时，那么 \(E[X_\tau] = E[X_0]\)。这个定理有很多不同的版本，适用于不同的条件。停时定理在概率论和随机过程的许多应用中都非常有用，例如在最优停止问题、金融期权定价等领域。 鞅论在多个领域都有广泛的应用： ① 金融数学 (Financial Mathematics)：在金融市场中，资产价格的动态模型经常使用鞅的概念。例如，在风险中性定价理论中，折现后的资产价格过程被建模为鞅。鞅论是理解和分析金融衍生品定价、投资组合优化等问题的基础工具。 ② 统计推断 (Statistical Inference)：鞅论在统计推断中也有应用，特别是在序贯分析 (Sequential Analysis) 和假设检验 (Hypothesis Testing) 中。例如，似然比检验可以被构建成鞅，利用鞅的性质可以分析检验的性质。 ③ 随机控制 (Stochastic Control)：在随机控制理论中，鞅论用于解决最优控制问题。例如，动态规划和哈密顿-雅可比-贝尔曼 (Hamilton-Jacobi-Bellman, HJB) 方程的解可以通过鞅方法来表示和分析。 ④ 物理学 (Physics)：在统计物理和凝聚态物理中，鞅论可以用来描述和分析平衡态和非平衡态系统的性质。例如，在研究扩散过程、相变等问题时，鞅论提供了有力的工具。 鞅论是一个深刻而强大的理论，它不仅提供了理解随机过程动态行为的框架，也为解决实际问题提供了有效的方法。深入学习鞅论需要扎实的概率论基础，但其回报是巨大的，能够帮助我们更好地理解和处理随机现象。 随机微积分 (Stochastic Calculus) 是经典微积分在随机过程上的推广，主要用于处理随机过程的积分和微分问题。由于随机过程的路径通常是不光滑的（例如布朗运动的路径几乎处处不可微），因此不能直接应用经典微积分的方法。随机微积分的核心是 伊藤积分 (Itô Integral)，它为解决涉及随机过程的积分和微分方程提供了理论基础。 布朗运动 (Brownian Motion) 是随机微积分的基石。标准布朗运动 \(\{B_t\}_{t \ge 0}\) 具有以下性质： ① \(B_0 = 0\)。 布朗运动的路径几乎处处不可微，这意味着我们不能像经典微积分那样定义 \(\frac{dB_t}{dt}\)。然而，我们可以定义关于布朗运动的积分，这就是伊藤积分。 伊藤过程 (Itô Process) 是随机微积分中一类重要的随机过程。一个伊藤过程 \(X_t\) 可以表示为： 伊藤积分 \(\int_0^t \sigma_s dB_s\) 的定义是随机微积分的核心。由于布朗运动的路径是无界的变差函数，不能直接使用 Riemann-Stieltjes 积分。伊藤积分的构造方法大致如下： ① 简单过程 (Simple Process)：首先考虑简单过程 \(\sigma_t\)，即 \(\sigma_t\) 是分段常数且适应的。对于简单过程，伊藤积分定义为 Riemann-Stieltjes 和的极限。 ② 一般适应过程 (General Adapted Process)：对于一般的适应过程 \(\sigma_t\)，通过简单过程逼近 \(\sigma_t\)，然后取极限来定义伊藤积分。 伊藤积分具有一些重要的性质，例如 伊藤等式 (Itô's Lemma)，它是随机微积分中的基本工具，类似于经典微积分中的链式法则。 伊藤公式 (Itô's Lemma) 是随机微积分中最重要的公式之一。它给出了随机过程的函数微分的公式。设 \(f(t, x)\) 是一个二元函数，具有连续的二阶偏导数，\(X_t\) 是一个伊藤过程 \(dX_t = \mu_t dt + \sigma_t dB_t\)。则 \(Y_t = f(t, X_t)\) 也是一个伊藤过程，且其微分 \(dY_t\) 由伊藤公式给出： 随机微分方程 (Stochastic Differential Equations, SDEs) 是包含随机项的微分方程。一个典型的 SDE 可以写成： SDE 在许多领域都有应用，例如： ① 金融模型 (Financial Models)：股票价格、利率等金融资产的价格动态常用 SDE 来建模，例如 Black-Scholes 模型、CIR 模型等。 ② 物理模型 (Physical Models)： Langevin 方程、Fokker-Planck 方程等物理模型可以用 SDE 来描述。 ③ 生物模型 (Biological Models)：种群动态、神经元模型等生物系统可以用 SDE 来建模。 解 SDE 的方法包括数值方法和解析方法。数值方法如 Euler-Maruyama 方法、Milstein 方法等，用于近似 SDE 的解。解析方法则试图找到 SDE 的精确解，但通常只有在特殊情况下才能实现。 随机微积分在现代科学和工程领域有着广泛的应用： ① 金融工程 (Financial Engineering)：随机微积分是金融工程的核心工具。期权定价理论、风险管理、投资组合优化等都离不开随机微积分。著名的 Black-Scholes 期权定价模型就是基于伊藤公式和 SDE 的。 ② 随机控制 (Stochastic Control)：随机微积分用于解决随机控制问题，例如最优停止问题、随机最优控制等。 ③ 信号处理 (Signal Processing)：在信号处理中，随机微积分用于分析和设计滤波器、估计器等。 ④ 生物数学 (Mathematical Biology)：随机微积分用于建模生物系统的随机动态，例如种群增长、疾病传播、神经元放电等。 ⑤ 物理学 (Physics)：随机微积分用于描述物理系统的随机现象，例如布朗运动、扩散过程、湍流等。 随机微积分是一个充满活力且应用广泛的领域。深入学习随机微积分需要扎实的数学基础，包括概率论、实分析和微分方程等。掌握随机微积分的理论和方法，可以为解决复杂随机现象提供强大的工具。 大偏差理论 (Large Deviation Theory) 研究的是 罕见事件 (Rare Events) 的概率，特别是当事件偏离其期望行为时，概率衰减的速度。与中心极限定理 (Central Limit Theorem, CLT) 关注典型偏差不同，大偏差理论关注的是指数级小的概率，即概率以指数速度趋于零的情况。大偏差理论在统计物理、信息论、风险管理、保险精算等领域都有重要应用。 大偏差原理 (Large Deviation Principle, LDP) 是大偏差理论的核心概念。它描述了一系列随机事件 \(\{A_\epsilon\}_{\epsilon > 0}\) 的概率 \(P(A_\epsilon)\) 以指数速度衰减的现象。更具体地说，如果存在一个 速率函数 (Rate Function) \(I(x) \ge 0\)，使得对于“好”的集合 \(A\)， 速率函数 \(I(x)\) 通常具有以下性质： ① \(I(x) \ge 0\)，且 \(I(x) = 0\) 在期望值处达到最小值。 克拉美尔定理 (Cramér's Theorem) 是大偏差理论中最经典的定理之一。它给出了独立同分布 (i.i.d.) 随机变量样本均值的大偏差原理。设 \(X_1, X_2, \ldots\) 是一系列 i.i.d. 随机变量，均值为 \(\mu\)，矩母函数 (Moment Generating Function, MGF) 为 \(M(\lambda) = E[e^{\lambda X_1}]\)。定义样本均值 \(S_n = \frac{1}{n} \sum_{i=1}^n X_i\)。克拉美尔定理指出，样本均值 \(\{S_n\}_{n \ge 1}\) 满足大偏差原理，速率函数为 克拉美尔速率函数 (Cramér Rate Function)： 大偏差理论在多个领域都有广泛的应用： ① 统计物理 (Statistical Physics)：大偏差理论在统计物理中用于研究平衡态和非平衡态系统的涨落行为。例如，Boltzmann-Gibbs 分布、Ising 模型等可以用大偏差理论来分析。 ② 信息论 (Information Theory)：在信息论中，大偏差理论用于研究信道编码的错误概率、数据压缩的速率失真函数等。例如，Shannon 编码定理、源编码定理等可以用大偏差理论来证明和分析。 ③ 风险管理 (Risk Management) 与保险精算 (Actuarial Science)：大偏差理论在风险管理和保险精算中用于评估极端风险事件的概率，例如金融市场的崩盘、保险索赔的巨额赔付等。尾部风险 (Tail Risk) 的分析离不开大偏差理论。 ④ 网络工程 (Network Engineering)：在网络工程中，大偏差理论用于分析网络性能，例如队列长度、延迟、吞吐量等。网络拥塞、服务质量 (Quality of Service, QoS) 保障等问题可以用大偏差理论来研究。 ⑤ 算法设计与分析 (Algorithm Design and Analysis)：在算法设计与分析中，大偏差理论用于评估算法的性能，特别是对于随机算法，分析其错误概率、运行时间等。 大偏差理论不断发展，涌现出许多重要的扩展和推广： ① 弱大偏差原理 (Weak Large Deviation Principle)：弱大偏差原理放宽了对速率函数的要求，适用于更广泛的随机过程。 ② 马尔可夫过程的大偏差 (Large Deviations for Markov Processes)：研究马尔可夫链、扩散过程等马尔可夫过程的大偏差行为。 ③ 随机过程泛函的大偏差 (Large Deviations for Functionals of Stochastic Processes)：研究随机过程的泛函（例如积分、最大值等）的大偏差行为。 ④ 网络大偏差 (Network Large Deviations)：研究复杂网络系统的大偏差行为，例如社交网络、通信网络、生物网络等。 大偏差理论是一个深刻而富有挑战性的领域，它不仅提供了理解罕见事件概率衰减的理论框架，也为解决实际问题提供了有效的方法。深入研究大偏差理论需要扎实的概率论和分析基础，但其应用前景非常广阔。 随机图论 (Random Graph Theory) 研究的是 随机图 (Random Graphs) 的性质。与传统的图论研究确定性图不同，随机图论关注的是图的随机模型，以及这些模型所生成的图的统计性质。随机图论起源于 Erdős 和 Rényi 在 1959 年提出的 Erdős-Rényi 模型 (Erdős-Rényi Model)，如今已发展成为一个活跃的研究领域，在网络科学、计算机科学、统计物理、生物学等领域都有广泛应用。 Erdős-Rényi 模型 (Erdős-Rényi Model) 是最经典的随机图模型。它有两种常见的形式：\(G(n, p)\) 模型和 \(G(n, M)\) 模型。 ① \(G(n, p)\) 模型：给定 \(n\) 个顶点，对于每对顶点 \((i, j)\)（\(1 \le i < j \le n\)），以概率 \(p\) 独立地连接一条边。生成的图记为 \(G(n, p)\)。参数 \(n\) 是顶点数，\(p\) 是边概率。 ② \(G(n, M)\) 模型：给定 \(n\) 个顶点，从所有 \(\binom{n}{2}\) 条可能的边中随机均匀地选取 \(M\) 条边。生成的图记为 \(G(n, M)\)。参数 \(n\) 是顶点数，\(M\) 是边数。 当 \(M \approx p \binom{n}{2}\) 时，\(G(n, p)\) 模型和 \(G(n, M)\) 模型在很多性质上是相似的。Erdős-Rényi 模型是研究随机图性质的基准模型。 随机图论研究随机图的各种性质，例如： ① 连通性 (Connectivity)：随机图是否连通？连通的概率是多少？在 Erdős-Rényi 模型中，当边概率 \(p\) 足够大时，随机图几乎总是连通的。存在一个 连通性阈值 (Connectivity Threshold)，当 \(p\) 超过这个阈值时，连通概率迅速趋于 1。 ② 巨分支 (Giant Component)：在随机图中，是否存在一个包含大部分顶点的连通分支？在 Erdős-Rényi 模型中，当平均度数 \(np\) 超过 1 时，会出现一个 巨分支 (Giant Component)，其大小与顶点数 \(n\) 同阶。这是一个 相变 (Phase Transition) 现象。 ③ 度分布 (Degree Distribution)：随机图中顶点的度数分布是什么样的？在 \(G(n, p)\) 模型中，顶点的度数近似服从 泊松分布 (Poisson Distribution)。更复杂的随机图模型可以生成具有不同度分布的图，例如 幂律分布 (Power-law Distribution)，这在现实网络中很常见。 ④ 聚类系数 (Clustering Coefficient)：随机图中三角形（三顶点完全子图）的密度是多少？聚类系数衡量了图中顶点之间形成社群的趋势。Erdős-Rényi 模型的聚类系数很小，而现实网络通常具有较高的聚类系数。 ⑤ 直径 (Diameter)：随机图中任意两点之间最短路径的最大长度是多少？直径衡量了图的“大小”。在连通的 Erdős-Rényi 模型中，直径通常很小，约为 \(\log n\)。 除了 Erdős-Rényi 模型，随机图论还研究了许多其他更复杂的随机图模型，以更好地模拟现实世界的网络： ① 小世界模型 (Small-world Model)： Watts-Strogatz 模型是一种经典的小世界模型，它既具有高聚类系数，又具有小直径，类似于社交网络等现实网络的性质。 ② 无标度网络模型 (Scale-free Network Model)： Barabási-Albert 模型是一种经典的无标度网络模型，它通过优先连接机制生成具有幂律度分布的图，类似于互联网、万维网等现实网络的性质。 ③ 随机几何图 (Random Geometric Graph)：顶点随机分布在空间中，距离小于某个阈值的顶点之间连接一条边。随机几何图常用于建模无线传感器网络、移动自组织网络等。 ④ 社群结构模型 (Community Structure Model)：用于生成具有社群结构的随机图，例如随机块模型 (Stochastic Block Model)。社群结构是指图中顶点可以被划分为若干个组，组内连接紧密，组间连接稀疏。 随机图论在多个领域都有广泛的应用： ① 网络科学 (Network Science)：随机图论是网络科学的理论基础。用于分析和建模各种类型的网络，例如社交网络、通信网络、生物网络、交通网络等。 ② 计算机科学 (Computer Science)：在算法设计与分析、数据挖掘、机器学习等领域，随机图模型用于生成测试数据、评估算法性能、发现网络结构等。例如，PageRank 算法、社群发现算法等都与随机图论密切相关。 ③ 统计物理 (Statistical Physics)：随机图论与统计物理中的渗流理论、自旋玻璃模型等有密切联系。用于研究复杂系统的相变、临界现象等。 ④ 生物学 (Biology)：在生物信息学、系统生物学中，随机图模型用于分析蛋白质相互作用网络、基因调控网络、代谢网络等生物网络。 ⑤ 社会学 (Sociology)：在社会网络分析中，随机图模型用于研究社会网络的结构、演化、信息传播等。 随机图论是一个充满活力且应用广泛的领域。深入研究随机图论需要扎实的概率论、图论和算法基础。掌握随机图论的理论和方法，可以为理解和分析复杂网络系统提供强大的工具。 概率论作为一个基础数学学科，在现代科学和技术发展中扮演着越来越重要的角色。随着数据科学、人工智能、复杂系统研究的兴起，概率论的研究方向也在不断拓展和深化。以下是一些概率论的现代研究方向： 高维概率 (High-Dimensional Probability) 研究的是在高维空间中随机现象的概率性质。随着大数据时代的到来，高维数据分析变得越来越重要。传统概率论中的一些经典结果在高维情况下不再适用，需要发展新的理论和方法。高维概率主要关注以下问题： ① 高维随机向量的性质：研究高维随机向量的分布、浓度不等式、尾概率估计等。例如，高维正态分布、亚高斯分布、亚指数分布等。 ② 高维统计推断：在高维数据下进行统计推断，例如参数估计、假设检验、置信区间等。需要考虑维度灾难 (Curse of Dimensionality) 的影响，发展适应高维数据的统计方法。 ③ 高维机器学习：在高维空间中设计和分析机器学习算法，例如降维、特征选择、聚类、分类等。需要利用高维概率的工具来理解算法的性质和性能。 ④ 随机矩阵理论 (Random Matrix Theory)：研究随机矩阵的特征值分布、奇异值分布等。随机矩阵理论在高维统计、无线通信、金融数学等领域有重要应用。 流形上的随机分析 (Stochastic Analysis on Manifolds) 将随机分析从欧氏空间推广到流形 (Manifold) 上。流形是局部类似于欧氏空间的拓扑空间，例如球面、环面等。在流形上研究随机过程，需要考虑流形的几何结构和拓扑性质。流形上的随机分析主要关注以下问题： ① 流形上的布朗运动：定义和研究流形上的布朗运动，例如 Riemannian 流形上的布朗运动。 ② 流形上的随机微分方程：在流形上建立和求解随机微分方程，例如流形上的 Langevin 方程、扩散过程等。 ③ 流形上的随机几何：研究随机流形的几何性质，例如随机曲率、随机拓扑等。 ④ 应用：流形上的随机分析在物理学（例如广义相对论、量子场论）、生物学（例如生物分子动力学）、计算机图形学等领域有应用。 概率机器学习 (Probabilistic Machine Learning) 将概率模型和方法应用于机器学习。传统的机器学习方法通常是确定性的，而概率机器学习则强调模型的不确定性，并利用概率论来量化和处理不确定性。概率机器学习主要关注以下方面： ① 贝叶斯方法 (Bayesian Methods)：利用贝叶斯统计的框架进行模型构建、参数估计、模型选择等。贝叶斯方法能够自然地处理模型的不确定性，并提供概率预测。 ② 高斯过程 (Gaussian Processes)：高斯过程是一种强大的非参数贝叶斯模型，用于回归、分类、优化等问题。高斯过程能够提供平滑的概率预测，并量化预测的不确定性。 ③ 深度生成模型 (Deep Generative Models)：利用深度神经网络构建生成模型，例如变分自编码器 (Variational Autoencoders, VAEs)、生成对抗网络 (Generative Adversarial Networks, GANs) 等。概率生成模型能够学习数据的分布，并生成新的数据样本。 ④ 概率图模型 (Probabilistic Graphical Models)：利用图结构表示随机变量之间的依赖关系，例如贝叶斯网络、马尔可夫网络等。概率图模型能够有效地进行概率推理和学习。 量子概率 (Quantum Probability) 是经典概率论在量子力学框架下的推广。经典概率论描述的是经典随机现象，而量子概率则用于描述量子随机现象。量子概率与经典概率有许多重要的区别，例如非交换性、叠加态、纠缠态等。量子概率主要关注以下问题： ① 量子概率空间：定义和研究量子概率空间，它是经典概率空间的非交换推广。 ② 量子随机变量：定义和研究量子随机变量，它是经典随机变量的非交换推广，对应于量子力学中的可观测量。 ③ 量子随机过程：研究量子随机过程，例如量子布朗运动、量子随机游走等。 ④ 量子信息论 (Quantum Information Theory)：量子概率是量子信息论的数学基础。量子信息论研究量子信息的编码、传输、处理等问题，例如量子计算、量子密码学、量子通信等。 概率论作为一种通用的数学语言和工具，与其他学科的交叉融合日益深入。概率论在以下交叉学科领域发挥着重要作用： ① 数学生物学 (Mathematical Biology)：利用概率模型和方法研究生物系统，例如种群动态、流行病传播、基因调控网络、神经科学等。 ② 金融数学 (Financial Mathematics)：利用随机分析、随机控制、大偏差理论等概率工具研究金融市场，例如期权定价、风险管理、投资组合优化、金融计量经济学等。 ③ 随机算法与优化 (Randomized Algorithms and Optimization)：设计和分析随机算法，利用概率方法解决优化问题，例如随机梯度下降、模拟退火、遗传算法等。 ④ 网络科学 (Network Science)：利用随机图论、渗流理论等概率工具研究复杂网络，例如社交网络、通信网络、生物网络、交通网络等。 ⑤ 环境科学 (Environmental Science)：利用概率模型和方法研究环境问题，例如气候变化、自然灾害、环境污染等。 概率论的现代研究方向呈现出多元化、交叉化的趋势。随着科学技术的不断发展，概率论将在更多领域发挥关键作用，并持续推动理论和应用的发展。
从概率的公理化定义出发，可以推导出概率的一些基本性质：
▮▮▮▮ⓐ 不可能事件的概率 (Probability of Impossible Event)： \( P(\emptyset) = 0 \)。
▮▮▮▮ⓑ 有限可加性 (Finite Additivity)： 若 \( A_1, A_2, \ldots, A_n \in \mathcal{F} \) 是一组两两互斥的事件，则 \( P\left(\bigcup_{i=1}^{n} A_i\right) = \sum_{i=1}^{n} P(A_i) \)。
▮▮▮▮ⓒ 单调性 (Monotonicity)： 若 \( A \subseteq B \)，则 \( P(A) \le P(B) \)。
▮▮▮▮ⓓ 概率的上界 (Upper Bound of Probability)： 对于任意事件 \( A \in \mathcal{F} \)，有 \( P(A) \le 1 \)。
▮▮▮▮ⓔ 互补事件的概率 (Probability of Complementary Event)： \( P(A^c) = 1 - P(A) \)。
▮▮▮▮ⓕ 减法公式 (Subtraction Formula)： \( P(B \setminus A) = P(B) - P(A \cap B) \)。 特别地，若 \( A \subseteq B \)，则 \( P(B \setminus A) = P(B) - P(A) \)。
▮▮▮▮ⓖ 加法公式 (Addition Formula)： 对于任意两个事件 \( A \) 和 \( B \)，有 \( P(A \cup B) = P(A) + P(B) - P(A \cap B) \)。 更一般地，对于 \( n \) 个事件 \( A_1, A_2, \ldots, A_n \)，有 容斥原理 (Inclusion-Exclusion Principle) ：
\[ P\left(\bigcup_{i=1}^{n} A_i\right) = \sum_{i} P(A_i) - \sum_{i
▮▮▮▮ⓑ 严谨性 (Rigorousness)： 公理化定义基于严格的数学公理，使得概率论成为一门严谨的数学学科，避免了频率定义和贝叶斯定义中存在的逻辑缺陷。
▮▮▮▮ⓒ 普适性 (Universality)： 公理化定义不依赖于具体的试验类型，适用于各种类型的随机现象，具有更广泛的适用性。
▮▮▮▮ⓓ 理论基础 (Theoretical Foundation)： 公理化定义为概率论的进一步发展奠定了坚实的理论基础，为研究更复杂的概率模型和理论提供了统一的框架。2. chapter 2：条件概率与独立性 (Conditional Probability and Independence)
2.1 条件概率 (Conditional Probability)
⚝ 事件 \(B = \{ (H,H), (H,T), (T,H) \}\)，\(P(B) = 3/4\)。
⚝ 事件 \(A \cap B = \{ (H,H), (H,T) \}\)，\(P(A \cap B) = 2/4 = 1/2\)。
② 规范性 (Normalization)：\(P(\Omega|B) = 1\)。
③ 可加性 (Additivity)：如果 \(A_1, A_2, \dots\) 是一系列互不相容的事件，则
\[ P\left(\bigcup_{i=1}^{\infty} A_i \Big| B\right) = \sum_{i=1}^{\infty} P(A_i|B) \]
⚝ William Feller. An Introduction to Probability Theory and Its Applications, Vol. 1. Wiley, 1968.2.2 全概率公式 (Law of Total Probability)
② 完备性 (Collectively Exhaustive)：\(\bigcup_{i=1}^{n} B_i = \Omega\)。
⚝ \(P(A|B_1) = 0.98\)，\(P(A|B_2) = 0.95\)，\(P(A|B_3) = 0.99\)。
\[ P(A) = (0.98 \times 0.30) + (0.95 \times 0.45) + (0.99 \times 0.25) = 0.294 + 0.4275 + 0.2475 = 0.969 \]
⚝ William Feller. An Introduction to Probability Theory and Its Applications, Vol. 1. Wiley, 1968.2.3 贝叶斯定理 (Bayes' Theorem)
⚝ \(P(A|B_i)\)：似然度 (Likelihood)，表示在事件 \(B_i\) 发生的条件下，事件 \(A\) 发生的概率。它反映了在给定 \(B_i\) 为真的情况下，观测到 \(A\) 的可能性。
⚝ \(P(A) = \sum_{j=1}^{n} P(A|B_j)P(B_j)\)：证据 (Evidence) 或 归一化常数 (Normalizing Constant)，表示事件 \(A\) 发生的总概率，可以通过全概率公式计算得到。
⚝ \(P(B_i|A)\)：后验概率 (Posterior Probability)，表示在观测到事件 \(A\) 之后，我们对事件 \(B_i\) 发生的概率的更新评估。贝叶斯定理的核心作用就是通过观测数据 \(A\) 将先验概率 \(P(B_i)\) 更新为后验概率 \(P(B_i|A)\)。
⚝ 似然度：\(P(+|D) = 0.99\) (灵敏度)，\(P(+|D^c) = 1 - 0.95 = 0.05\) (1 - 特异性)。
\[ P(D|+) = \frac{0.99 \times 0.001}{(0.99 \times 0.001) + (0.05 \times 0.999)} = \frac{0.00099}{0.00099 + 0.04995} = \frac{0.00099}{0.05094} \approx 0.0194 \]
⚝ 垃圾邮件过滤 (Spam Filtering)：根据邮件内容特征判断邮件是否为垃圾邮件。
⚝ 搜索引擎 (Search Engine)：根据用户查询和网页内容，预测用户感兴趣的网页。
⚝ 金融风险评估 (Financial Risk Assessment)：评估投资风险和信用风险。
⚝ 机器学习 (Machine Learning)：构建贝叶斯分类器、贝叶斯网络等模型。
⚝ David J.C. MacKay. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2003.
⚝ Richard McElreath. Statistical Rethinking: A Bayesian Course with Examples in R and Stan. CRC Press, 2018.2.4 事件的独立性 (Independence of Events)
⚝ \(B = \{ (H,H), (T,H) \}\)，\(P(B) = 1/2\)。
⚝ \(A \cap B = \{ (H,H) \}\)，\(P(A \cap B) = 1/4\)。
② \(A^c\) 和 \(B\)
③ \(A^c\) 和 \(B^c\)
\[ P(A \cap B^c) = P(A) - P(A \cap B) \]
② \(P(A \cap C) = P(A)P(C)\)
③ \(P(B \cap C) = P(B)P(C)\)
④ \(P(A \cap B \cap C) = P(A)P(B)P(C)\)
⚝ \(B = \{1, 3\}\)，\(P(B) = 1/2\)
⚝ \(C = \{1, 4\}\)，\(P(C) = 1/2\)
⚝ \(A \cap C = \{1\}\)，\(P(A \cap C) = 1/4 = P(A)P(C)\)
⚝ \(B \cap C = \{1\}\)，\(P(B \cap C) = 1/4 = P(B)P(C)\)
⚝ \(A \cap B \cap C = \{1\}\)，\(P(A \cap B \cap C) = 1/4 \neq P(A)P(B)P(C) = 1/8\)
⚝ William Feller. An Introduction to Probability Theory and Its Applications, Vol. 1. Wiley, 1968.2.5 伯努利试验与二项分布 (Bernoulli Trials and Binomial Distribution)
⚝ 检查一件产品是否合格，合格为成功，不合格为失败。
⚝ 进行一次医学检测，结果为阳性为成功，阴性为失败。
\[ \binom{5}{3} = \frac{5!}{3!(5-3)!} = \frac{5 \times 4}{2 \times 1} = 10 \]
\[ P(X=3) = 10 \times (0.8)^3 \times (0.2)^2 = 10 \times 0.512 \times 0.04 = 0.2048 \]
⚝ 方差 (Variance)：\(Var(X) = np(1-p)\)。
⚝ 累积分布函数 (Cumulative Distribution Function, CDF)：\(F(x) = P(X \le x) = \sum_{k=0}^{\lfloor x \rfloor} \binom{n}{k} p^k (1-p)^{n-k}\)。
⚝ 市场调查 (Market Research)：调查消费者对某种产品的偏好比例。
⚝ 生物统计 (Biostatistics)：研究药物的有效率或疾病的发病率。
⚝ 通信工程 (Communication Engineering)：分析信道中错误比特的数目。
⚝ William Feller. An Introduction to Probability Theory and Its Applications, Vol. 1. Wiley, 1968.
⚝ Ronald E. Walpole, Raymond H. Myers, Sharon L. Myers, Keying Ye. Probability & Statistics for Engineers & Scientists. Pearson Education, 2016.3. chapter 3：随机变量与分布函数 (Random Variables and Distribution Functions)
3.1 随机变量的概念 (Concept of Random Variables)
\[ X(\omega) = \begin{cases} 1, & \text{如果 } \omega = \text{正面} \\ 0, & \text{如果 } \omega = \text{反面} \end{cases} \]
这样，我们就将非数值的结果 “正面” 和 “反面” 转换成了数值 1 和 0，方便后续的概率计算和分析。
⚝ 连续型随机变量 (Continuous Random Variable)：取值是不可数的随机变量。连续型随机变量的取值充满一个区间或多个区间，可以取区间内的任何值。3.2 离散型随机变量 (Discrete Random Variables)
⚝ 归一性 (Normalization)：所有可能取值的概率之和为 1，即 \(\sum_{x} P(X=x) = 1\)，其中求和是对 \(X\) 的所有可能取值进行的。
\[ F_X(x) = P(X \le x) = \sum_{y \le x} P(X=y) \]
CDF 是一个阶梯函数，在离散型随机变量的每个可能取值点上发生跳跃。
⚝ 二项分布 (Binomial Distribution)：描述 \(n\) 次独立伯努利试验中成功的次数，取值 \(\{0, 1, 2, \ldots, n\}\)。
⚝ 泊松分布 (Poisson Distribution)：描述单位时间或空间内随机事件发生的次数，取值 \(\{0, 1, 2, \ldots\}\)。
⚝ 几何分布 (Geometric Distribution)：描述首次成功所需的伯努利试验次数，取值 \(\{1, 2, 3, \ldots\}\)。
⚝ 超几何分布 (Hypergeometric Distribution)：描述不放回抽样中特定类型物品的个数，取值 \(\{0, 1, 2, \ldots, \min(n, K)\}\)。顾客数量 \(n\) 0 1 2 3 4 5 6 \(P(N=n)\) 0.05 0.15 0.25 0.25 0.15 0.10 0.05
⚝ 归一性：\(\sum_{n=0}^{6} P(N=n) = 0.05 + 0.15 + 0.25 + 0.25 + 0.15 + 0.10 + 0.05 = 1.00\)。
\[ F_N(3) = P(N \le 3) = P(N=0) + P(N=1) + P(N=2) + P(N=3) = 0.05 + 0.15 + 0.25 + 0.25 = 0.70 \]3.3 连续型随机变量 (Continuous Random Variables)
⚝ 归一性 (Normalization)：在整个取值范围上的积分等于 1，即 \(\int_{-\infty}^{\infty} f_X(x) dx = 1\)。
\[ P(a \le X \le b) = \int_{a}^{b} f_X(x) dx \]
特别地，对于连续型随机变量，取某个特定值的概率为零：\(P(X=a) = \int_{a}^{a} f_X(x) dx = 0\)。因此，对于连续型随机变量，\(P(a \le X \le b) = P(a < X \le b) = P(a \le X < b) = P(a < X < b)\)。
\[ F_X(x) = P(X \le x) = \int_{-\infty}^{x} f_X(t) dt \]
CDF \(F_X(x)\) 是一个连续函数（这也是“连续型随机变量”名称的来源之一），并且是单调不减的。PDF \(f_X(x)\) 是 CDF \(F_X(x)\) 的导数，即 \(f_X(x) = \frac{d}{dx} F_X(x)\)，在 \(F_X(x)\) 可导的点上成立。
⚝ 指数分布 (Exponential Distribution)：常用于描述独立事件发生的时间间隔。
⚝ 正态分布 (Normal Distribution)：自然界中最常见的分布，广泛应用于统计学。
⚝ 伽马分布 (Gamma Distribution)：与指数分布和泊松分布有关，常用于排队论和可靠性分析。
⚝ 贝塔分布 (Beta Distribution)：取值在 \([0, 1]\) 区间，常用于描述比例或概率的分布。
\[ f_T(t) = \begin{cases} \frac{1}{1000} e^{-t/1000}, & t \ge 0 \\ 0, & t < 0 \end{cases} \]
这是一个参数为 \(\lambda = \frac{1}{1000}\) 的指数分布。我们可以验证 PDF 的条件：
⚝ 归一性：\(\int_{-\infty}^{\infty} f_T(t) dt = \int_{0}^{\infty} \frac{1}{1000} e^{-t/1000} dt = \left[ -e^{-t/1000} \right]_{0}^{\infty} = 0 - (-1) = 1\)。
\[ P(500 \le T \le 1500) = \int_{500}^{1500} \frac{1}{1000} e^{-t/1000} dt = \left[ -e^{-t/1000} \right]_{500}^{1500} = e^{-500/1000} - e^{-1500/1000} = e^{-0.5} - e^{-1.5} \approx 0.6065 - 0.2231 \approx 0.3834 \]3.4 分布函数 (Cumulative Distribution Function, CDF)
\[ F_X(x) = P(X \le x), \quad -\infty < x < \infty \]
CDF \(F_X(x)\) 表示随机变量 \(X\) 取值小于或等于 \(x\) 的概率。
⚝ 右连续性 (Right-continuity)：对于任意 \(x\)，\(\lim_{h \to 0^+} F_X(x+h) = F_X(x)\)。这意味着 CDF 在每一点都是右连续的。
⚝ 极限性质 (Limit Properties)：
▮▮▮▮⚝ \(\lim_{x \to -\infty} F_X(x) = 0\)。当 \(x\) 趋于负无穷时，事件 \(\{X \le x\}\) 几乎不可能发生，概率趋于 0。
▮▮▮▮⚝ \(\lim_{x \to +\infty} F_X(x) = 1\)。当 \(x\) 趋于正无穷时，事件 \(\{X \le x\}\) 几乎必然发生，概率趋于 1。
⚝ 概率表示 (Probability Representation)：
▮▮▮▮⚝ \(P(a < X \le b) = F_X(b) - F_X(a)\)。
▮▮▮▮⚝ \(P(X > a) = 1 - F_X(a)\)。
▮▮▮▮⚝ \(P(X < a) = \lim_{x \to a^-} F_X(x)\)。对于连续型随机变量，\(P(X < a) = P(X \le a) = F_X(a)\)。
▮▮▮▮⚝ \(P(X = a) = F_X(a) - \lim_{x \to a^-} F_X(x)\)。对于连续型随机变量，\(P(X = a) = 0\)。对于离散型随机变量，\(P(X = x_i) = F_X(x_i) - \lim_{x \to x_i^-} F_X(x)\)，即 CDF 在 \(x_i\) 处的跳跃高度。
\[ F_X(x) = P(X \le x) = \int_{-\infty}^{x} f_X(t) dt \]
当 \(x < 0\) 时，\(F_X(x) = \int_{-\infty}^{x} 0 dt = 0\)。
当 \(x \ge 0\) 时，
\[ F_X(x) = \int_{0}^{x} \lambda e^{-\lambda t} dt = \left[ -e^{-\lambda t} \right]_{0}^{x} = -e^{-\lambda x} - (-e^{0}) = 1 - e^{-\lambda x} \]
因此，指数分布的 CDF 为：
\[ F_X(x) = \begin{cases} 1 - e^{-\lambda x}, & x \ge 0 \\ 0, & x < 0 \end{cases} \]
我们可以使用 CDF 来计算例如 \(P(a < X \le b)\) 的概率，只需计算 \(F_X(b) - F_X(a)\) 即可。3.5 概率质量函数与概率密度函数 (Probability Mass Function, PMF & Probability Density Function, PDF)
\[ p_X(x) = P(X = x) \]
PMF 直接给出了随机变量 \(X\) 取每个可能值 \(x\) 的概率。
▮▮▮▮⚝ \(0 \le p_X(x) \le 1\) 对于所有 \(x\)。
▮▮▮▮⚝ \(\sum_{x} p_X(x) = 1\)，其中求和是对 \(X\) 的所有可能取值进行的。
▮▮▮▮⚝ \(F_X(x) = \sum_{y \le x} p_X(y)\)。CDF 可以通过对 PMF 求和得到。
\[ p_X(x) = P(X = x) = \frac{1}{6}, \quad x \in \{1, 2, 3, 4, 5, 6\} \]
对于其他 \(x\)，\(p_X(x) = 0\)。
▮▮▮▮⚝ \(f_X(x) \ge 0\) 对于所有 \(x\)。
▮▮▮▮⚝ \(\int_{-\infty}^{\infty} f_X(x) dx = 1\)。
▮▮▮▮⚝ \(P(a \le X \le b) = \int_{a}^{b} f_X(x) dx\)。
▮▮▮▮⚝ \(F_X(x) = \int_{-\infty}^{x} f_X(t) dt\)。CDF 可以通过对 PDF 积分得到。
▮▮▮▮⚝ \(f_X(x) = \frac{d}{dx} F_X(x)\)，在 \(F_X(x)\) 可导的点上成立。
\[ f_Z(z) = \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}}, \quad -\infty < z < \infty \]
标准正态分布的 CDF 记为 \(\Phi(z) = P(Z \le z) = \int_{-\infty}^{z} \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} dt\)，这个积分没有解析表达式，通常使用数值方法或查表计算。特性 概率质量函数 (PMF) \(p_X(x)\) 概率密度函数 (PDF) \(f_X(x)\) 适用类型 离散型随机变量 连续型随机变量 函数值意义 \(P(X = x)\) 不是概率，但 \(f_X(x)dx \approx P(x \le X \le x+dx)\) 概率计算 求和 \(\sum_{x} p_X(x) = 1\) 积分 \(\int_{-\infty}^{\infty} f_X(x) dx = 1\) 与 CDF 的关系 \(F_X(x) = \sum_{y \le x} p_X(y)\) \(F_X(x) = \int_{-\infty}^{x} f_X(t) dt\) 取特定值概率 \(P(X = x) = p_X(x) > 0\) 可能 \(P(X = x) = 0\) 4. chapter 4：重要的离散分布 (Important Discrete Distributions)
4.1 伯努利分布 (Bernoulli Distribution)
设随机变量 \(X\) 表示单次伯努利试验的结果。如果试验成功的概率为 \(p\)（\(0 \le p \le 1\)，常称为成功概率 (success probability)），失败的概率为 \(1-p\)，则称 \(X\) 服从参数为 \(p\) 的伯努利分布，记作 \(X \sim Bernoulli(p)\)。其概率质量函数 (Probability Mass Function, PMF) 为：
\[ E(X) = \sum_{x} x P(X=x) = 0 \cdot P(X=0) + 1 \cdot P(X=1) = 0 \cdot (1-p) + 1 \cdot p = p \]
\[ Var(X) = E(X^2) - [E(X)]^2 \]
首先计算 \(E(X^2)\)：
\[ E(X^2) = \sum_{x} x^2 P(X=x) = 0^2 \cdot P(X=0) + 1^2 \cdot P(X=1) = 0 \cdot (1-p) + 1 \cdot p = p \]
因此，方差为：
\[ Var(X) = E(X^2) - [E(X)]^2 = p - p^2 = p(1-p) \]
其概率质量函数为：
\[ P(X=x) = \begin{cases} 0.5, & \text{if } x = 1 \\ 0.5, & \text{if } x = 0 \\ 0, & \text{otherwise} \end{cases} \]
数学期望 \(E(X) = 0.5\)，方差 \(Var(X) = 0.5 \times (1-0.5) = 0.25\)。
其概率质量函数为：
\[ P(Y=y) = \begin{cases} 0.9, & \text{if } y = 1 \\ 0.1, & \text{if } y = 0 \\ 0, & \text{otherwise} \end{cases} \]
数学期望 \(E(Y) = 0.9\)，方差 \(Var(Y) = 0.9 \times (1-0.9) = 0.09\)。4.2 二项分布 (Binomial Distribution)
设在 \(n\) 次独立重复的伯努利试验中，每次试验成功的概率为 \(p\)（\(0 \le p \le 1\））。设随机变量 \(X\) 表示 \(n\) 次试验中成功的次数，则称 \(X\) 服从参数为 \(n\) 和 \(p\) 的二项分布，记作 \(X \sim Binomial(n, p)\) 或 \(X \sim B(n, p)\)。其概率质量函数 (PMF) 为：
其中，\(\binom{n}{k} = \frac{n!}{k!(n-k)!}\) 是二项系数，表示从 \(n\) 次试验中选择 \(k\) 次成功的组合数。
二项分布可以看作是 \(n\) 个独立同分布的伯努利分布随机变量之和。设 \(X_i\) 表示第 \(i\) 次伯努利试验的结果，\(X_i \sim Bernoulli(p)\)，\(i = 1, 2, \ldots, n\)。则 \(X = \sum_{i=1}^{n} X_i\)。
根据期望的线性性质，有：
\[ E(X) = E\left(\sum_{i=1}^{n} X_i\right) = \sum_{i=1}^{n} E(X_i) = \sum_{i=1}^{n} p = np \]
由于 \(X_i\) 之间相互独立，根据方差的性质，有：
\[ Var(X) = Var\left(\sum_{i=1}^{n} X_i\right) = \sum_{i=1}^{n} Var(X_i) = \sum_{i=1}^{n} p(1-p) = np(1-p) \]
这里 \(n = 10\)，\(p = 0.5\)。设 \(X\) 为正面朝上的次数，则 \(X \sim Binomial(10, 0.5)\)。
所求概率为：
\[ P(X=5) = \binom{10}{5} (0.5)^5 (1-0.5)^{10-5} = \binom{10}{5} (0.5)^{10} = \frac{10!}{5!5!} (0.5)^{10} = 252 \times (0.5)^{10} \approx 0.246 \]
这里 \(n = 20\)，\(p = 0.95\)。设 \(Y\) 为合格产品的数量，则 \(Y \sim Binomial(20, 0.95)\)。
所求概率为 \(P(Y \ge 18) = P(Y=18) + P(Y=19) + P(Y=20)\)。
\[ P(Y=18) = \binom{20}{18} (0.95)^{18} (0.05)^{2} = \frac{20!}{18!2!} (0.95)^{18} (0.05)^{2} \approx 0.1887 \]
\[ P(Y=19) = \binom{20}{19} (0.95)^{19} (0.05)^{1} = \frac{20!}{19!1!} (0.95)^{19} (0.05)^{1} \approx 0.3774 \]
\[ P(Y=20) = \binom{20}{20} (0.95)^{20} (0.05)^{0} = \frac{20!}{20!0!} (0.95)^{20} (0.05)^{0} \approx 0.3585 \]
\[ P(Y \ge 18) = P(Y=18) + P(Y=19) + P(Y=20) \approx 0.1887 + 0.3774 + 0.3585 = 0.9246 \]
当 \(n=1\) 时，二项分布 \(Binomial(1, p)\) 退化为伯努利分布 \(Bernoulli(p)\)。4.3 泊松分布 (Poisson Distribution)
设随机变量 \(X\) 表示在单位时间或空间内，某稀有事件发生的次数。如果 \(X\) 的概率质量函数 (PMF) 为：
其中，\(\lambda > 0\) 是单位时间或空间内事件发生的平均次数，称为率参数 (rate parameter) 或 强度参数 (intensity parameter)，\(e\) 是自然对数的底数，\(e \approx 2.71828\)。则称 \(X\) 服从参数为 \(\lambda\) 的泊松分布，记作 \(X \sim Poisson(\lambda)\) 或 \(X \sim P(\lambda)\)。
\[ E(X) = \sum_{k=0}^{\infty} k P(X=k) = \sum_{k=0}^{\infty} k \frac{e^{-\lambda} \lambda^k}{k!} = \lambda \]
\[ Var(X) = E(X^2) - [E(X)]^2 = \lambda \]
（具体的推导过程较为复杂，这里直接给出结论。）
这里 \(\lambda = 2\)。设 \(X\) 为一天内发生的交通事故次数，则 \(X \sim Poisson(2)\)。
所求概率为：
\[ P(X=3) = \frac{e^{-2} 2^3}{3!} = \frac{e^{-2} \times 8}{6} = \frac{4}{3} e^{-2} \approx 0.1804 \]
这里 \(\lambda = 5\)。设 \(Y\) 为 1 分钟内收到的呼叫次数，则 \(Y \sim Poisson(5)\)。
所求概率为：
\[ P(Y=0) = \frac{e^{-5} 5^0}{0!} = e^{-5} \approx 0.0067 \]
当二项分布的试验次数 \(n\) 很大，成功概率 \(p\) 很小，而 \(np = \lambda\) 保持不变时，二项分布 \(Binomial(n, p)\) 可以近似为泊松分布 \(Poisson(\lambda)\)。
即当 \(n \to \infty\)，\(p \to 0\)，且 \(np \to \lambda\) 时，有：
\[ \binom{n}{k} p^k (1-p)^{n-k} \approx \frac{e^{-\lambda} \lambda^k}{k!} \]
这个性质使得泊松分布可以用来近似计算某些二项分布的概率，尤其是在 \(n\) 很大，\(p\) 很小时。4.4 几何分布 (Geometric Distribution)
设随机变量 \(X\) 表示在独立重复伯努利试验中，首次成功发生在第 \(k\) 次试验，其中每次试验的成功概率为 \(p\)（\(0 < p \le 1\））。则称 \(X\) 服从参数为 \(p\) 的几何分布（类型一），记作 \(X \sim Geometric(p)\) 或 \(X \sim Geo(p)\)。其概率质量函数 (PMF) 为：
这里 \(k\) 表示直到首次成功所需的试验次数，包括首次成功的这一次。
设随机变量 \(Y\) 表示在独立重复伯努利试验中，在首次成功之前，失败的次数，其中每次试验的成功概率为 \(p\)（\(0 < p \le 1\））。则称 \(Y\) 服从参数为 \(p\) 的几何分布（类型二），也记作 \(Y \sim Geometric(p)\) 或 \(Y \sim Geo(p)\)。其概率质量函数 (PMF) 为：
这里 \(k\) 表示首次成功之前失败的次数，不包括首次成功的这一次。
\[ E(X) = \sum_{k=1}^{\infty} k P(X=k) = \sum_{k=1}^{\infty} k (1-p)^{k-1} p = \frac{1}{p} \]
\[ Var(X) = E(X^2) - [E(X)]^2 = \frac{1-p}{p^2} \]
（具体的推导过程涉及到等比级数求和及其导数。）
这里 \(p = 0.5\)。设 \(X\) 为抛掷次数，则 \(X \sim Geometric(0.5)\) (类型一)。
所求概率为：
\[ P(X=3) = (1-0.5)^{3-1} \times 0.5 = (0.5)^2 \times 0.5 = (0.5)^3 = 0.125 \]
这里 \(p = 0.1\)。设 \(X\) 为抽取次数，则 \(X \sim Geometric(0.1)\) (类型一)。
所求概率为：
\[ P(X=5) = (1-0.1)^{5-1} \times 0.1 = (0.9)^4 \times 0.1 = 0.06561 \]
几何分布具有无记忆性，这意味着在已知已经进行了若干次失败试验后，未来试验中首次成功所需的试验次数的分布，与从头开始进行试验的分布相同。
对于几何分布（类型一） \(X \sim Geometric(p)\)，有：
\[ P(X > m+n \mid X > m) = P(X > n) \]
其中 \(m, n\) 为正整数。这个性质表明，过去的失败试验不会影响未来试验的结果。4.5 超几何分布 (Hypergeometric Distribution)
设在一个包含 \(N\) 个个体的总体中，有 \(M\) 个特定类型的个体（称为成功），\(N-M\) 个非特定类型的个体（称为失败）。从总体中不放回地随机抽取 \(n\) 个个体。设随机变量 \(X\) 表示抽取的 \(n\) 个个体中，特定类型个体的数量。则称 \(X\) 服从参数为 \(N, M, n\) 的超几何分布，记作 \(X \sim Hypergeometric(N, M, n)\) 或 \(X \sim H(N, M, n)\)。其概率质量函数 (PMF) 为：
其中，\(\binom{a}{b}\) 表示二项系数，当 \(b > a\) 或 \(b < 0\) 时，\(\binom{a}{b} = 0\)。
\(k\) 的取值范围需要满足：
① \(0 \le k \le M\) （抽取的特定类型个体数不能超过总体中特定类型个体总数）
② \(0 \le n-k \le N-M\) （抽取的非特定类型个体数不能超过总体中非特定类型个体总数）
③ \(0 \le k \le n\) （抽取的特定类型个体数不能超过总抽取数）
④ \(0 \le n-k \le n\) （抽取的非特定类型个体数不能超过总抽取数）
\[ E(X) = n \frac{M}{N} \]
\[ Var(X) = n \frac{M}{N} \left(1 - \frac{M}{N}\right) \frac{N-n}{N-1} \]
这里 \(N = 10\)，\(M = 3\)（红球数），\(N-M = 7\)（白球数），\(n = 4\)。设 \(X\) 为抽到的红球数，则 \(X \sim Hypergeometric(10, 3, 4)\)。
所求概率为：
\[ P(X=2) = \frac{\binom{3}{2} \binom{7}{4-2}}{\binom{10}{4}} = \frac{\binom{3}{2} \binom{7}{2}}{\binom{10}{4}} = \frac{3 \times 21}{210} = \frac{63}{210} = 0.3 \]
这里 \(N = 100\)，\(M = 10\)（次品数），\(N-M = 90\)（正品数），\(n = 5\)。设 \(Y\) 为抽到的次品数，则 \(Y \sim Hypergeometric(100, 10, 5)\)。
所求概率为 \(P(Y \ge 1) = 1 - P(Y=0)\)。
\[ P(Y=0) = \frac{\binom{10}{0} \binom{90}{5-0}}{\binom{100}{5}} = \frac{\binom{10}{0} \binom{90}{5}}{\binom{100}{5}} = \frac{1 \times \frac{90!}{5!85!}}{\frac{100!}{5!95!}} = \frac{90! \times 95!}{100! \times 85!} \]
\[ P(Y=0) = \frac{95 \times 94 \times 93 \times 92 \times 91}{100 \times 99 \times 98 \times 97 \times 96} \approx 0.5838 \]
\[ P(Y \ge 1) = 1 - P(Y=0) \approx 1 - 0.5838 = 0.4162 \]
当总体容量 \(N\) 很大，而抽样数量 \(n\) 相对较小时（例如，\(n/N < 0.1\）），不放回抽样可以近似看作放回抽样，此时超几何分布 \(Hypergeometric(N, M, n)\) 可以近似为二项分布 \(Binomial(n, p)\)，其中 \(p = M/N\)。
这是因为当 \(N\) 很大时，每次抽样对总体组成的影响很小，每次抽到特定类型个体的概率 \(M/N\) 变化不大，近似保持不变，类似于二项分布的独立重复试验。5. chapter 5：重要的连续分布 (Important Continuous Distributions)
5.1 均匀分布 (Uniform Distribution)
② 概率密度函数 (PDF)：在区间 \([a, b]\) 内，PDF 为常数 \(\frac{1}{b-a}\)，区间外为 0。这意味着在 \([a, b]\) 内任何等长度的子区间，随机变量落入其中的概率是相同的。
③ 累积分布函数 (Cumulative Distribution Function, CDF)：均匀分布的累积分布函数 \(F(x) = P(X \le x)\) 可以通过对 PDF 积分得到：
⚝ 排队论：在某些简单的排队模型中，顾客到达时间间隔或服务时间可能被假设为均匀分布。
⚝ 数值分析：在蒙特卡洛方法（Monte Carlo Method）中，均匀分布是重要的抽样分布。
⚝ 测试和验证：在软件测试中，可以使用均匀分布来生成测试用例，以覆盖输入参数的各个范围。
解：这相当于求 \(P(X \le 15)\)。使用 CDF，\(F(15) = \frac{15-0}{30-0} = \frac{1}{2}\)。因此，概率为 50%。
⚝ 公交车在 7:10 到 7:20 之间到达的概率是多少？
解：这相当于求 \(P(10 \le X \le 20) = F(20) - F(10) = \frac{20-0}{30-0} - \frac{10-0}{30-0} = \frac{10}{30} = \frac{1}{3}\)。因此，概率约为 33.3%。
⚝ Robert V. Hogg, Joseph W. McKean, Allen T. Craig. Introduction to Mathematical Statistics. Pearson, 2018.
5.2 指数分布 (Exponential Distribution)
② 概率密度函数 (PDF)：PDF 在 \(x \ge 0\) 时为 \(\lambda e^{-\lambda x}\)，在 \(x < 0\) 时为 0。PDF 随着 \(x\) 的增大而指数衰减。
③ 累积分布函数 (CDF)：指数分布的累积分布函数 \(F(x) = P(X \le x)\) 为：
⚝ 排队论：在 M/M/1 排队模型中，顾客到达的时间间隔和服务时间通常假设为指数分布。
⚝ 可靠性工程：评估系统或部件的可靠性，例如计算平均故障间隔时间（Mean Time Between Failures, MTBF）。
⚝ 电信：描述电话呼叫的持续时间。
⚝ 核物理：描述放射性原子核衰变的时间间隔。
解：平均寿命 \(\mu = 1000\) 小时，则 \(\lambda = 1/\mu = 1/1000\)。求 \(P(X > 1500) = 1 - P(X \le 1500) = 1 - F(1500) = 1 - (1 - e^{-(1/1000) \times 1500}) = e^{-1.5} \approx 0.223\)。概率约为 22.3%。
⚝ 如果灯泡已经使用了 500 小时，它还能继续使用超过 1500 小时的概率是多少？
解：根据无记忆性，\(P(X > 500 + 1000 \mid X > 500) = P(X > 1000) = 1 - F(1000) = e^{-(1/1000) \times 1000} = e^{-1} \approx 0.368\)。概率约为 36.8%。注意，这里问的是 继续使用超过 1500 小时，实际上是 再使用超过 1000 小时。如果问题是 还能继续使用超过 1000 小时，答案才是 \(P(X > 500 + 1000 \mid X > 500) = P(X > 1000)\)。
⚝ Robert V. Hogg, Joseph W. McKean, Allen T. Craig. Introduction to Mathematical Statistics. Pearson, 2018.
5.3 正态分布 (Normal Distribution)
② 概率密度函数 (PDF)：PDF 呈钟形曲线，以均值 \(\mu\) 为中心对称。曲线的峰值在 \(x = \mu\) 处，高度为 \(\frac{1}{\sigma \sqrt{2\pi}}\)。
③ 累积分布函数 (CDF)：正态分布的累积分布函数 \(F(x) = P(X \le x) = \int_{-\infty}^{x} f(t) dt\) 没有解析表达式，通常使用数值方法或查表计算。标准正态分布的 CDF 常用符号 \(\Phi(z)\) 表示。
④ 期望值 (Expectation)：正态分布的期望值 \(E[X]\) 就是参数 \(\mu\)：
⑦ 单峰性：正态分布是单峰分布，峰值位于均值 \(\mu\) 处。
⑧ 尾部性质：正态分布的尾部衰减很快，即概率密度函数在远离均值的地方迅速趋近于零。5.3.1 标准正态分布 (Standard Normal Distribution)
② 对称性：标准正态分布关于 \(z = 0\) 对称，即 \(\phi(z) = \phi(-z)\)。
③ CDF 的性质：由于对称性，\(\Phi(-z) = 1 - \Phi(z)\)。
④ 常用概率值：
▮▮▮▮⚝ \(P(Z \le 0) = \Phi(0) = 0.5\)
▮▮▮▮⚝ \(P(-1 \le Z \le 1) = \Phi(1) - \Phi(-1) \approx 0.6827\) (68-95-99.7 法则)
▮▮▮▮⚝ \(P(-2 \le Z \le 2) = \Phi(2) - \Phi(-2) \approx 0.9545\) (68-95-99.7 法则)
▮▮▮▮⚝ \(P(-3 \le Z \le 3) = \Phi(3) - \Phi(-3) \approx 0.9973\) (68-95-99.7 法则)5.3.2 正态分布的性质与应用 (Properties and Applications of Normal Distribution)
② 加和性：如果 \(X_1 \sim N(\mu_1, \sigma_1^2)\) 和 \(X_2 \sim N(\mu_2, \sigma_2^2)\) 是独立的，则 \(X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)\)。更一般地，若 \(X_1, X_2, \dots, X_n\) 是独立的正态随机变量，\(X_i \sim N(\mu_i, \sigma_i^2)\)，且 \(c_1, c_2, \dots, c_n\) 是常数，则线性组合 \(\sum_{i=1}^{n} c_i X_i \sim N(\sum_{i=1}^{n} c_i \mu_i, \sum_{i=1}^{n} c_i^2 \sigma_i^2)\)。
③ 中心极限定理 (CLT)：中心极限定理是正态分布应用广泛的理论基础。它指出，在适当的条件下，大量独立同分布随机变量的和的分布趋近于正态分布，而与原始分布的形状无关。更精确地说，设 \(X_1, X_2, \dots, X_n\) 是一系列独立同分布的随机变量，具有均值 \(\mu\) 和方差 \(\sigma^2\)，令 \(S_n = \sum_{i=1}^{n} X_i\)，则当 \(n\) 足够大时，\(S_n\) 的分布近似于正态分布 \(N(n\mu, n\sigma^2)\)，样本均值 \(\bar{X}_n = \frac{S_n}{n}\) 的分布近似于正态分布 \(N(\mu, \frac{\sigma^2}{n})\)。
⚝ 统计推断：正态分布是统计推断的基础，许多统计方法（如假设检验、置信区间）都基于正态分布的假设。
⚝ 金融：股票收益率、期权定价模型等金融模型中常假设变量服从正态分布或对数正态分布。
⚝ 工程：信号处理、控制系统、通信工程等领域广泛应用正态分布模型。
⚝ 机器学习：许多机器学习算法（如线性回归、高斯混合模型）都基于正态分布的假设。
⚝ 质量控制：在工业生产中，正态分布用于监控产品质量，例如控制产品的尺寸、重量等指标。
解：令 \(X\) 表示身高，\(X \sim N(175, 7^2)\)。计算 Z-分数 \(z = \frac{180 - 175}{7} \approx 0.714\)。\(P(X > 180) = P(Z > 0.714) = 1 - \Phi(0.714)\)。查标准正态分布表或使用计算器，\(\Phi(0.714) \approx 0.7624\)。因此，\(P(X > 180) \approx 1 - 0.7624 = 0.2376\)。比例约为 23.76%。
⚝ 身高在 165 cm 到 185 cm 之间的男性比例是多少？
解：计算两个 Z-分数：\(z_1 = \frac{165 - 175}{7} \approx -1.429\)，\(z_2 = \frac{185 - 175}{7} \approx 1.429\)。\(P(165 \le X \le 185) = P(-1.429 \le Z \le 1.429) = \Phi(1.429) - \Phi(-1.429) = \Phi(1.429) - (1 - \Phi(1.429)) = 2\Phi(1.429) - 1\)。查表或计算器，\(\Phi(1.429) \approx 0.9236\)。因此，\(P(165 \le X \le 185) \approx 2 \times 0.9236 - 1 = 0.8472\)。比例约为 84.72%。
⚝ Robert V. Hogg, Joseph W. McKean, Allen T. Craig. Introduction to Mathematical Statistics. Pearson, 2018.
⚝ George Casella, Roger L. Berger. Statistical Inference. Duxbury Press, 2002.
5.4 伽马分布 (Gamma Distribution)
② 概率密度函数 (PDF)：PDF 在 \(x \ge 0\) 时为 \(\frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}\)，在 \(x < 0\) 时为 0。当 \(\alpha = 1\) 时，伽马分布退化为指数分布。
③ 累积分布函数 (CDF)：伽马分布的累积分布函数 \(F(x) = P(X \le x) = \int_{0}^{x} \frac{\beta^\alpha}{\Gamma(\alpha)} t^{\alpha-1} e^{-\beta t} dt\) 没有简单的解析表达式，通常使用不完全伽马函数（Incomplete Gamma function）表示或数值方法计算。
④ 期望值 (Expectation)：伽马分布的期望值 \(E[X]\) 为：
▮▮▮▮⚝ 当 \(\alpha < 1\) 时，PDF 在 \(x = 0\) 处趋于无穷大，分布呈 L 形。
▮▮▮▮⚝ 当 \(\alpha = 1\) 时，伽马分布退化为指数分布。
▮▮▮▮⚝ 当 \(\alpha > 1\) 时，PDF 呈单峰分布，峰值位置在 \(x = \frac{\alpha - 1}{\beta}\)。
▮▮▮▮⚝ 当 \(\alpha\) 增大时，分布趋于对称，形状接近正态分布。
⚝ 排队论：服务时间可能服从伽马分布。
⚝ 保险精算：索赔金额的分布。
⚝ 生物统计：生物体的寿命分布、疾病潜伏期分布。
⚝ 金融：风险建模、投资组合分析。
⚝ 工程：可靠性分析、故障时间建模。
⚝ 与泊松分布的关系：如果事件以速率 \(\beta\) 服从泊松过程，那么第 \(\alpha\) 次事件发生的时间服从伽马分布 \(Gamma(\alpha, \beta)\)。反之，在时间 \(t\) 内发生的事件次数服从泊松分布。
解：第三个电话到达的时间服从伽马分布 \(Gamma(\alpha = 3, \beta = 0.5)\)。求 \(x = 5\) 时的 PDF 值：
\(f(5) = \frac{0.5^3}{\Gamma(3)} 5^{3-1} e^{-0.5 \times 5} = \frac{0.125}{2!} \times 25 \times e^{-2.5} \approx 0.0615\)。概率密度约为 0.0615。
⚝ 第三个电话在 10 分钟内到达的概率是多少？
解：需要计算 \(P(X \le 10)\)，即伽马分布 \(Gamma(3, 0.5)\) 在 \(x \le 10\) 时的 CDF 值 \(F(10) = \int_{0}^{10} \frac{0.5^3}{\Gamma(3)} t^{3-1} e^{-0.5 t} dt\)。这需要使用数值方法或查表计算不完全伽马函数。使用统计软件或计算器可以得到结果。
⚝ Robert V. Hogg, Joseph W. McKean, Allen T. Craig. Introduction to Mathematical Statistics. Pearson, 2018.
⚝ Edward W. Frees. Loss Models: From Data to Decisions. Cambridge University Press, 2014.
5.5 贝塔分布 (Beta Distribution)
② 概率密度函数 (PDF)：PDF 在区间 \([0, 1]\) 内为 \(\frac{1}{B(\alpha, \beta)} x^{\alpha-1} (1-x)^{\beta-1}\)，区间外为 0。
③ 累积分布函数 (CDF)：贝塔分布的累积分布函数 \(F(x) = P(X \le x) = \int_{0}^{x} \frac{1}{B(\alpha, \beta)} t^{\alpha-1} (1-t)^{\beta-1} dt\) 通常使用不完全贝塔函数（Incomplete Beta function）表示或数值方法计算。
④ 期望值 (Expectation)：贝塔分布的期望值 \(E[X]\) 为：
▮▮▮▮⚝ 当 \(\alpha = \beta = 1\) 时，\(Beta(1, 1)\) 退化为标准均匀分布 \(U(0, 1)\)。
▮▮▮▮⚝ 当 \(\alpha = \beta > 1\) 时，分布呈钟形，且关于 \(x = 0.5\) 对称。
▮▮▮▮⚝ 当 \(\alpha = \beta < 1\) 时，分布呈 U 形，两端概率密度高，中间低。
▮▮▮▮⚝ 当 \(\alpha > \beta\) 时，分布偏向左侧（靠近 1）。
▮▮▮▮⚝ 当 \(\alpha < \beta\) 时，分布偏向右侧（靠近 0）。
▮▮▮▮⚝ 当 \(\alpha > 1\) 且 \(\beta > 1\) 时，分布是单峰的，峰值位置在 \(x = \frac{\alpha - 1}{\alpha + \beta - 2}\)。
⚝ 贝叶斯统计：在贝叶斯统计中，贝塔分布常作为二项分布（Binomial Distribution）的共轭先验分布（conjugate prior）。
⚝ 项目管理：PERT (Program Evaluation and Review Technique) 方法中使用贝塔分布来估计任务完成时间。
⚝ 机器学习：在某些模型中，如贝塔-伯努利模型（Beta-Bernoulli model），贝塔分布被用作先验分布。
⚝ 生态学：建模物种的相对丰度。
⚝ 金融：建模违约概率、回收率等。
解：期望值 \(E[P] = \frac{\alpha}{\alpha + \beta} = \frac{2}{2 + 2} = \frac{1}{2} = 0.5\)。平均合格率为 50%。
⚝ 产品合格率大于 0.8 的概率是多少？
解：需要计算 \(P(P > 0.8) = 1 - P(P \le 0.8) = 1 - F(0.8)\)，其中 \(F(x)\) 是 \(Beta(2, 2)\) 的 CDF。\(F(0.8) = \int_{0}^{0.8} \frac{1}{B(2, 2)} x^{2-1} (1-x)^{2-1} dx = \int_{0}^{0.8} \frac{\Gamma(4)}{\Gamma(2)\Gamma(2)} x (1-x) dx = 6 \int_{0}^{0.8} (x - x^2) dx = 6 \left[ \frac{x^2}{2} - \frac{x^3}{3} \right]_{0}^{0.8} = 6 \times (\frac{0.8^2}{2} - \frac{0.8^3}{3}) \approx 0.896\)。因此，\(P(P > 0.8) = 1 - 0.896 = 0.104\)。合格率大于 80% 的概率约为 10.4%。
⚝ Robert V. Hogg, Joseph W. McKean, Allen T. Craig. Introduction to Mathematical Statistics. Pearson, 2018.
⚝ Christian P. Robert. Bayesian Methods for Data Analysis. Chapman and Hall/CRC, 2007.6. chapter 6：随机变量的数字特征 (Numerical Characteristics of Random Variables)
6.1 数学期望 (Expectation)
6.1.1 离散型随机变量的期望 (Expectation of Discrete Random Variables)
6.1.2 连续型随机变量的期望 (Expectation of Continuous Random Variables)
6.2 方差与标准差 (Variance and Standard Deviation)
6.3 矩、偏度与峰度 (Moments, Skewness, and Kurtosis)
⚝ 二阶中心矩：\(E[(X - E(X))^2]\)，即方差。
⚝ 偏度为正：正偏分布 (右偏分布)，分布的右尾较长，均值大于中位数。
⚝ 偏度为负：负偏分布 (左偏分布)，分布的左尾较长，均值小于中位数。
⚝ 峰度大于 3 (超额峰度为正)：尖峰厚尾分布 (leptokurtic)，比正态分布更尖峭，尾部更厚重。例如 t 分布。
⚝ 峰度小于 3 (超额峰度为负)：扁平薄尾分布 (platykurtic)，比正态分布更扁平，尾部更轻薄。例如均匀分布。6.4 协方差与相关系数 (Covariance and Correlation Coefficient)
⚝ \(Cov(X, Y) < 0\)：\(X\) 和 \(Y\) 负相关，即 \(X\) 增大时，\(Y\) 倾向于减小；\(X\) 减小时，\(Y\) 倾向于增大。
⚝ \(Cov(X, Y) = 0\)：\(X\) 和 \(Y\) 不相关 (线性不相关)，即 \(X\) 和 \(Y\) 之间没有线性关系。注意，不相关并不意味着独立，独立一定不相关，但不相关不一定独立。
⚝ \(\rho(X, Y) = -1\)：完全负线性相关。
⚝ \(\rho(X, Y) = 0\)：线性不相关。
⚝ \(|\rho(X, Y)|\) 越接近 1：线性相关性越强。
⚝ \(|\rho(X, Y)|\) 越接近 0：线性相关性越弱。
⚝ 相关性不等于因果性。两个变量相关，并不意味着其中一个变量是另一个变量的原因。可能存在共同的潜在因素导致它们相关。6.5 期望的性质与计算 (Properties and Calculation of Expectation)
7. chapter 7：多维随机变量及其分布 (Multivariate Random Variables and Their Distributions)
7.1 联合分布函数 (Joint Distribution Function)
7.2 边缘分布 (Marginal Distribution)
Y=1 Y=2 Y=3 X=1 0.1 0.2 0.1 X=2 0.15 0.25 0.2
⚝ \( p_X(2) = P(X=2) = P(X=2, Y=1) + P(X=2, Y=2) + P(X=2, Y=3) = 0.15 + 0.25 + 0.2 = 0.6 \)
⚝ \( p_Y(2) = P(Y=2) = P(X=1, Y=2) + P(X=2, Y=2) = 0.2 + 0.25 = 0.45 \)
⚝ \( p_Y(3) = P(Y=3) = P(X=1, Y=3) + P(X=2, Y=3) = 0.1 + 0.2 = 0.3 \)7.3 条件分布 (Conditional Distribution)
Y=1 Y=2 Y=3 X=1 0.1 0.2 0.1 X=2 0.15 0.25 0.2
⚝ \( p_{X|Y}(2|2) = P(X=2 | Y=2) = \frac{p(2, 2)}{p_Y(2)} = \frac{0.25}{0.45} = \frac{5}{9} \)7.4 随机变量的独立性 (Independence of Random Variables)
⚝ 对于连续型随机变量，检查是否对于所有可能的 \( x \) 和 \( y \)，都有 \( f(x, y) = f_X(x) \cdot f_Y(y) \)。
⚝ 利用分布函数，检查是否对于所有 \( x \) 和 \( y \)，都有 \( F(x, y) = F_X(x) \cdot F_Y(y) \)。Y=1 Y=2 Y=3 X=1 0.1 0.2 0.1 X=2 0.15 0.25 0.2
⚝ \( p_X(1) \cdot p_Y(1) = 0.4 \times 0.25 = 0.1 \)
⚝ \( p_X(1) \cdot p_Y(2) = 0.4 \times 0.45 = 0.18 \)7.5 多维离散分布 (Multivariate Discrete Distributions)
7.6 多维连续分布 (Multivariate Continuous Distributions)
7.7 多元正态分布 (Multivariate Normal Distribution)
⚝ \( \mathbf{x} = (x_1, x_2, \ldots, x_n)^T \) 是 \( n \) 维实向量。
⚝ \( \boldsymbol{\mu} = (\mu_1, \mu_2, \ldots, \mu_n)^T \) 是 \( n \) 维均值向量，表示每个随机变量的期望值。
⚝ \( \boldsymbol{\Sigma} \) 是 \( n \times n \) 的协方差矩阵，是一个对称正定矩阵，描述了随机变量之间的方差和协方差关系。
⚝ \( |\boldsymbol{\Sigma}| \) 是协方差矩阵 \( \boldsymbol{\Sigma} \) 的行列式。
⚝ \( \boldsymbol{\Sigma}^{-1} \) 是协方差矩阵 \( \boldsymbol{\Sigma} \) 的逆矩阵。
⚝ \( (\mathbf{x} - \boldsymbol{\mu})^T \) 是向量 \( (\mathbf{x} - \boldsymbol{\mu}) \) 的转置。8. chapter 8：随机变量的函数及其分布 (Functions of Random Variables and Their Distributions)
8.1 单变量随机变量的函数 (Functions of Single Random Variables)
8.1.1 离散型随机变量函数的分布 (Distribution of Functions of Discrete Random Variables)
\[ P_Y(y) = P(Y=y) = P(g(X) = y) = \sum_{\{x | g(x) = y\}} P_X(x) \]
其中，求和是对所有使得 \(g(x) = y\) 的 \(x\) 值进行的。
假设离散型随机变量 \(X\) 的 PMF 如下：
\[ P_X(x) = \begin{cases} 1/3, & x = -1 \\ 1/3, & x = 0 \\ 1/3, & x = 1 \\ 0, & \text{otherwise} \end{cases} \]
现在考虑函数 \(Y = X^2\)。我们需要求 \(Y\) 的分布。
\(X\) 的可能取值为 \(-1, 0, 1\)。则 \(Y = X^2\) 的可能取值为：
⚝ 当 \(X = -1\) 时，\(Y = (-1)^2 = 1\)
⚝ 当 \(X = 0\) 时，\(Y = 0^2 = 0\)
⚝ 当 \(X = 1\) 时，\(Y = 1^2 = 1\)
⚝ \(P_Y(0) = P(Y=0) = P(X^2 = 0) = P(X = 0) = P_X(0) = 1/3\)
⚝ \(P_Y(1) = P(Y=1) = P(X^2 = 1) = P(X = -1 \text{ 或 } X = 1) = P(X = -1) + P(X = 1) = P_X(-1) + P_X(1) = 1/3 + 1/3 = 2/3\)
\[ P_Y(y) = \begin{cases} 1/3, & y = 0 \\ 2/3, & y = 1 \\ 0, & \text{otherwise} \end{cases} \]8.1.2 连续型随机变量函数的分布 (Distribution of Functions of Continuous Random Variables)
CDF 方法是一种通用的方法，适用于各种类型的函数 \(g(X)\)，包括单调和非单调函数。其基本思想是首先求出 \(Y\) 的 CDF，\(F_Y(y) = P(Y \le y) = P(g(X) \le y)\)。然后，通过对 CDF 求导（如果 \(F_Y(y)\) 可导），即可得到 \(Y\) 的 PDF，\(f_Y(y) = \frac{d}{dy} F_Y(y)\)。
1. 写出 \(Y \le y\) 的事件，并将其用 \(X\) 的不等式表示，即 \(g(X) \le y\)。
2. 根据 \(g(X) \le y\) 解出 \(X\) 的取值范围，设为 \(X \in A_y\)。
3. 计算 \(F_Y(y) = P(Y \le y) = P(g(X) \le y) = P(X \in A_y) = \int_{A_y} f_X(x) dx\)。
4. 对 \(F_Y(y)\) 求导得到 \(f_Y(y) = \frac{d}{dy} F_Y(y)\)。
设 \(X \sim U(0, 1)\) (均匀分布 (Uniform Distribution) 在 \((0, 1)\) 上)，其 PDF 为：
\[ f_X(x) = \begin{cases} 1, & 0 < x < 1 \\ 0, & \text{otherwise} \end{cases} \]
考虑线性变换 \(Y = aX + b\)，其中 \(a > 0\) 和 \(b\) 是常数。求 \(Y\) 的分布。
\[ F_Y(y) = P(Y \le y) = P(aX + b \le y) = P(aX \le y - b) = P(X \le \frac{y - b}{a}) \]
由于 \(X \sim U(0, 1)\)，其 CDF 为：
\[ F_X(x) = \begin{cases} 0, & x \le 0 \\ x, & 0 < x < 1 \\ 1, & x \ge 1 \end{cases} \]
因此，
\[ F_Y(y) = F_X\left(\frac{y - b}{a}\right) = \begin{cases} 0, & \frac{y - b}{a} \le 0 \\ \frac{y - b}{a}, & 0 < \frac{y - b}{a} < 1 \\ 1, & \frac{y - b}{a} \ge 1 \end{cases} = \begin{cases} 0, & y \le b \\ \frac{y - b}{a}, & b < y < a + b \\ 1, & y \ge a + b \end{cases} \]
对 \(F_Y(y)\) 求导得到 \(Y\) 的 PDF：
\[ f_Y(y) = \frac{d}{dy} F_Y(y) = \begin{cases} \frac{1}{a}, & b < y < a + b \\ 0, & \text{otherwise} \end{cases} \]
所以，\(Y \sim U(b, a + b)\)。
当函数 \(g(x)\) 是严格单调函数时（即严格递增或严格递减），我们可以使用变量变换法直接求得 PDF。假设 \(g(x)\) 是严格单调可导函数，且存在反函数 \(x = h(y) = g^{-1}(y)\)。
如果 \(g(x)\) 严格递减，则 \(F_Y(y) = P(Y \le y) = P(g(X) \le y) = P(X \ge h(y)) = 1 - P(X < h(y)) = 1 - F_X(h(y))\) (如果 \(X\) 是连续型，则 \(P(X < h(y)) = P(X \le h(y))\)，所以 \(F_Y(y) = 1 - F_X(h(y))\) 或 \(F_Y(y) = 1 - F_X(h(y)) + P(X=h(y))\)，对于连续型随机变量，\(P(X=h(y))=0\)，所以 \(F_Y(y) = 1 - F_X(h(y))\))。
\[ f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} F_X(h(y)) = f_X(h(y)) \cdot h'(y) \]
如果 \(g(x)\) 严格递减，则：
\[ f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} (1 - F_X(h(y))) = -f_X(h(y)) \cdot h'(y) = f_X(h(y)) \cdot |h'(y)| \]
综合两种情况，当 \(g(x)\) 严格单调可导时，\(Y = g(X)\) 的 PDF 为：
\[ f_Y(y) = f_X(h(y)) \cdot |h'(y)| = f_X(g^{-1}(y)) \cdot \left|\frac{d}{dy} g^{-1}(y)\right| \]
其中 \(x = h(y) = g^{-1}(y)\) 是 \(y = g(x)\) 的反函数，\(h'(y) = \frac{d}{dy} g^{-1}(y) = \frac{dx}{dy}\)。
设 \(X\) 服从标准正态分布 (Standard Normal Distribution) \(N(0, 1)\)，其 PDF 为 \(\phi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}\)。考虑变换 \(Y = e^X\)。求 \(Y\) 的分布。
函数 \(g(x) = e^x\) 是严格递增且可导的，其反函数为 \(h(y) = g^{-1}(y) = \ln y\)，导数为 \(h'(y) = \frac{1}{y}\)。
根据变量变换公式，\(Y\) 的 PDF 为：
\[ f_Y(y) = f_X(h(y)) \cdot |h'(y)| = \phi(\ln y) \cdot \left|\frac{1}{y}\right| = \frac{1}{\sqrt{2\pi}} e^{-(\ln y)^2/2} \cdot \frac{1}{y}, \quad y > 0 \]
当 \(y \le 0\) 时，\(f_Y(y) = 0\)。因此，\(Y\) 的 PDF 为：
\[ f_Y(y) = \begin{cases} \frac{1}{y\sqrt{2\pi}} e^{-(\ln y)^2/2}, & y > 0 \\ 0, & y \le 0 \end{cases} \]
这个分布称为对数正态分布 (Log-Normal Distribution)。8.2 多变量随机变量的函数 (Functions of Multiple Random Variables)
8.2.1 离散型多变量函数的分布 (Distribution of Functions of Multivariate Discrete Random Variables)
\[ P_Y(y) = P(Y=y) = P(g(X_1, \ldots, X_n) = y) = \sum_{\{(x_1, \ldots, x_n) | g(x_1, \ldots, x_n) = y\}} P_{X_1, \ldots, X_n}(x_1, \ldots, x_n) \]
其中，求和是对所有使得 \(g(x_1, \ldots, x_n) = y\) 的 \((x_1, \ldots, x_n)\) 组合进行的。
设 \(X_1\) 和 \(X_2\) 是两个独立的泊松分布 (Poisson Distribution) 随机变量，分别服从 \(P(\lambda_1)\) 和 \(P(\lambda_2)\)。求 \(Y = X_1 + X_2\) 的分布。
\(X_1\) 和 \(X_2\) 的 PMF 分别为 \(P_{X_1}(x_1) = \frac{e^{-\lambda_1} \lambda_1^{x_1}}{x_1!}\) 和 \(P_{X_2}(x_2) = \frac{e^{-\lambda_2} \lambda_2^{x_2}}{x_2!}\)，其中 \(x_1, x_2 = 0, 1, 2, \ldots\)。由于 \(X_1\) 和 \(X_2\) 独立，它们的联合 PMF 为 \(P_{X_1, X_2}(x_1, x_2) = P_{X_1}(x_1) P_{X_2}(x_2) = \frac{e^{-(\lambda_1 + \lambda_2)} \lambda_1^{x_1} \lambda_2^{x_2}}{x_1! x_2!}\)。
\[ P_Y(y) = P(X_1 + X_2 = y) = \sum_{x_1=0}^{y} P(X_1 = x_1, X_2 = y - x_1) = \sum_{x_1=0}^{y} P_{X_1}(x_1) P_{X_2}(y - x_1) \]
\[ P_Y(y) = \sum_{x_1=0}^{y} \frac{e^{-\lambda_1} \lambda_1^{x_1}}{x_1!} \cdot \frac{e^{-\lambda_2} \lambda_2^{y - x_1}}{(y - x_1)!} = e^{-(\lambda_1 + \lambda_2)} \sum_{x_1=0}^{y} \frac{\lambda_1^{x_1} \lambda_2^{y - x_1}}{x_1! (y - x_1)!} \]
\[ P_Y(y) = \frac{e^{-(\lambda_1 + \lambda_2)}}{y!} \sum_{x_1=0}^{y} \frac{y!}{x_1! (y - x_1)!} \lambda_1^{x_1} \lambda_2^{y - x_1} = \frac{e^{-(\lambda_1 + \lambda_2)}}{y!} \sum_{x_1=0}^{y} \binom{y}{x_1} \lambda_1^{x_1} \lambda_2^{y - x_1} \]
根据二项式定理，\(\sum_{x_1=0}^{y} \binom{y}{x_1} \lambda_1^{x_1} \lambda_2^{y - x_1} = (\lambda_1 + \lambda_2)^y\)。因此，
\[ P_Y(y) = \frac{e^{-(\lambda_1 + \lambda_2)} (\lambda_1 + \lambda_2)^y}{y!}, \quad y = 0, 1, 2, \ldots \]
这表明 \(Y = X_1 + X_2\) 服从参数为 \(\lambda_1 + \lambda_2\) 的泊松分布，即 \(Y \sim P(\lambda_1 + \lambda_2)\)。泊松分布具有可加性。8.2.2 连续型多变量函数的分布 (Distribution of Functions of Multivariate Continuous Random Variables)
与单变量情况类似，首先求 \(Y\) 的 CDF：
\[ F_Y(y) = P(Y \le y) = P(g(X_1, \ldots, X_n) \le y) = \int_{\{(x_1, \ldots, x_n) | g(x_1, \ldots, x_n) \le y\}} f_{X_1, \ldots, X_n}(x_1, \ldots, x_n) dx_1 \cdots dx_n \]
然后对 \(F_Y(y)\) 求导得到 \(f_Y(y) = \frac{d}{dy} F_Y(y)\)。
设 \(X_1 \sim U(0, 1)\) 和 \(X_2 \sim U(0, 1)\) 相互独立。求 \(Y = X_1 + X_2\) 的分布。
\(X_1\) 和 \(X_2\) 的联合 PDF 为 \(f_{X_1, X_2}(x_1, x_2) = f_{X_1}(x_1) f_{X_2}(x_2) = 1\) 当 \(0 < x_1 < 1\) 且 \(0 < x_2 < 1\)，否则为 0。
⚝ 当 \(y \le 0\) 时，\(F_Y(y) = 0\)。
⚝ 当 \(0 < y \le 1\) 时，积分区域是三角形区域 \(\{ (x_1, x_2) | 0 < x_1 < 1, 0 < x_2 < 1, x_1 + x_2 \le y \}\) 实际上是 \(\{ (x_1, x_2) | 0 < x_1 < y, 0 < x_2 < y - x_1 \}\)。
\[ F_Y(y) = \int_{0}^{y} \int_{0}^{y-x_1} 1 dx_2 dx_1 = \int_{0}^{y} (y - x_1) dx_1 = \left[yx_1 - \frac{x_1^2}{2}\right]_{0}^{y} = y^2 - \frac{y^2}{2} = \frac{y^2}{2} \]
⚝ 当 \(1 < y \le 2\) 时，积分区域需要分成两部分考虑。更简单的方法是计算 \(P(Y \le y) = 1 - P(Y > y) = 1 - P(X_1 + X_2 > y)\)。或者直接计算积分区域。积分区域是单位正方形减去 \(x_1 + x_2 > y\) 的部分。计算 \(P(X_1 + X_2 \le y)\) 直接积分更方便。
当 \(1 < y \le 2\) 时，积分区域是单位正方形被直线 \(x_1 + x_2 = y\) 截去右上角的部分。计算积分更方便的方式是计算单位正方形的面积减去右上角三角形的面积。右上角三角形的顶点为 \((1, 1), (1, y-1), (y-1, 1)\)。当 \(1 < y \le 2\) 时，\(0 \le y-1 \le 1\)。三角形两条直角边长均为 \(2-y\)。面积为 \(\frac{1}{2}(2-y)^2\)。
所以，\(P(X_1 + X_2 > y)\) 的区域是三角形 \(\{ (x_1, x_2) | y-1 < x_1 < 1, y-x_1 < x_2 < 1 \}\)。
\[ P(X_1 + X_2 > y) = \int_{y-1}^{1} \int_{y-x_1}^{1} 1 dx_2 dx_1 = \int_{y-1}^{1} (1 - (y - x_1)) dx_1 = \int_{y-1}^{1} (1 - y + x_1) dx_1 = \left[(1-y)x_1 + \frac{x_1^2}{2}\right]_{y-1}^{1} \]
\[ = \left[(1-y) + \frac{1}{2}\right] - \left[(1-y)(y-1) + \frac{(y-1)^2}{2}\right] = \frac{3}{2} - y - (-(y-1)^2 + \frac{(y-1)^2}{2}) = \frac{3}{2} - y + \frac{1}{2}(y-1)^2 = \frac{3}{2} - y + \frac{1}{2}(y^2 - 2y + 1) = \frac{3}{2} - y + \frac{1}{2}y^2 - y + \frac{1}{2} = 2 - 2y + \frac{1}{2}y^2 = \frac{1}{2}(y^2 - 4y + 4) = \frac{1}{2}(2-y)^2 \]
所以，当 \(1 < y \le 2\) 时，\(F_Y(y) = 1 - P(X_1 + X_2 > y) = 1 - \frac{1}{2}(2-y)^2\)。
⚝ 当 \(y > 2\) 时，\(F_Y(y) = 1\)。
\[ F_Y(y) = \begin{cases} 0, & y \le 0 \\ \frac{y^2}{2}, & 0 < y \le 1 \\ 1 - \frac{(2-y)^2}{2}, & 1 < y \le 2 \\ 1, & y > 2 \end{cases} \]
对 \(F_Y(y)\) 求导得到 PDF：
\[ f_Y(y) = \begin{cases} y, & 0 < y \le 1 \\ 2 - y, & 1 < y \le 2 \\ 0, & \text{otherwise} \end{cases} \]
这是一个三角形分布 (Triangular Distribution)。
设 \((X_1, X_2)\) 的联合 PDF 为 \(f_{X_1, X_2}(x_1, x_2)\)。考虑变换 \(Y_1 = g_1(X_1, X_2)\) 和 \(Y_2 = g_2(X_1, X_2)\)。假设变换是可逆的，即存在反变换 \(X_1 = h_1(Y_1, Y_2)\) 和 \(X_2 = h_2(Y_1, Y_2)\)。雅可比行列式 (Jacobian Determinant) 定义为：
\[ J = \begin{vmatrix} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{vmatrix} = \frac{\partial x_1}{\partial y_1} \frac{\partial x_2}{\partial y_2} - \frac{\partial x_1}{\partial y_2} \frac{\partial x_2}{\partial y_1} \]
则 \((Y_1, Y_2)\) 的联合 PDF 为：
\[ f_{Y_1, Y_2}(y_1, y_2) = f_{X_1, X_2}(h_1(y_1, y_2), h_2(y_1, y_2)) \cdot |J| \]
对于更高维的情况，公式类似。如果 \(Y_i = g_i(X_1, \ldots, X_n)\)，\(i = 1, \ldots, n\)，且反变换为 \(X_i = h_i(Y_1, \ldots, Y_n)\)，则雅可比行列式为 \(n \times n\) 矩阵的行列式，且联合 PDF 为：
\[ f_{Y_1, \ldots, Y_n}(y_1, \ldots, y_n) = f_{X_1, \ldots, X_n}(h_1(y_1, \ldots, y_n), \ldots, h_n(y_1, \ldots, y_n)) \cdot |J| \]
设 \((X, Y)\) 服从二维标准正态分布 (Bivariate Standard Normal Distribution)，即 \(X \sim N(0, 1)\), \(Y \sim N(0, 1)\) 且 \(X\) 和 \(Y\) 独立。它们的联合 PDF 为 \(f_{X, Y}(x, y) = \frac{1}{2\pi} e^{-(x^2 + y^2)/2}\)。
考虑极坐标变换 \(R = \sqrt{X^2 + Y^2}\) 和 \(\Theta = \arctan(\frac{Y}{X})\)。反变换为 \(X = R \cos \Theta\) 和 \(Y = R \sin \Theta\)。
雅可比行列式为：
\[ J = \begin{vmatrix} \frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\ \frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta} \end{vmatrix} = \begin{vmatrix} \cos \theta & -r \sin \theta \\ \sin \theta & r \cos \theta \end{vmatrix} = (\cos \theta)(r \cos \theta) - (-r \sin \theta)(\sin \theta) = r \cos^2 \theta + r \sin^2 \theta = r \]
因此，\((R, \Theta)\) 的联合 PDF 为：
\[ f_{R, \Theta}(r, \theta) = f_{X, Y}(r \cos \theta, r \sin \theta) \cdot |J| = \frac{1}{2\pi} e^{-((r \cos \theta)^2 + (r \sin \theta)^2)/2} \cdot r = \frac{r}{2\pi} e^{-r^2/2} \]
其中 \(r > 0\) 和 \(0 \le \theta < 2\pi\)。我们可以看到 \(f_{R, \Theta}(r, \theta) = \left(\frac{r}{e^{r^2/2}}\right) \cdot \left(\frac{1}{2\pi}\right)\)。这表明 \(R\) 和 \(\Theta\) 是独立的。
\(R\) 的边缘 PDF 为 \(f_R(r) = \int_{0}^{2\pi} f_{R, \Theta}(r, \theta) d\theta = \int_{0}^{2\pi} \frac{r}{2\pi} e^{-r^2/2} d\theta = r e^{-r^2/2}\), \(r > 0\)。这表明 \(R\) 服从瑞利分布 (Rayleigh Distribution)。
\(\Theta\) 的边缘 PDF 为 \(f_\Theta(\theta) = \int_{0}^{\infty} f_{R, \Theta}(r, \theta) dr = \int_{0}^{\infty} \frac{r}{2\pi} e^{-r^2/2} dr = \frac{1}{2\pi} \int_{0}^{\infty} r e^{-r^2/2} dr = \frac{1}{2\pi} \left[-e^{-r^2/2}\right]_{0}^{\infty} = \frac{1}{2\pi}\)。这表明 \(\Theta\) 服从 \(U(0, 2\pi)\) 上的均匀分布。8.3 卷积公式 (Convolution Formula)
8.3.1 离散型随机变量的卷积 (Convolution of Discrete Random Variables)
\[ P_Z(z) = P(Z=z) = P(X+Y=z) = \sum_{x} P(X=x, Y=z-x) \]
由于 \(X\) 和 \(Y\) 独立，\(P(X=x, Y=z-x) = P(X=x) P(Y=z-x) = P_X(x) P_Y(z-x)\)。因此，
\[ P_Z(z) = \sum_{x} P_X(x) P_Y(z-x) \]
这个求和公式称为离散卷积公式。记作 \(P_Z = P_X * P_Y\)。
设 \(X_1 \sim Bernoulli(p)\) 和 \(X_2 \sim Bernoulli(p)\) 独立同分布。求 \(Y = X_1 + X_2\) 的分布。
\(X_1\) 和 \(X_2\) 的 PMF 为 \(P(X_i = 1) = p, P(X_i = 0) = 1-p\), \(i=1, 2\)。
使用卷积公式，\(Y\) 的 PMF 为：
⚝ \(P_Y(0) = P_{X_1}(0) P_{X_2}(0-0) = P_{X_1}(0) P_{X_2}(0) = (1-p)(1-p) = (1-p)^2\)
⚝ \(P_Y(1) = P_{X_1}(0) P_{X_2}(1-0) + P_{X_1}(1) P_{X_2}(1-1) = P_{X_1}(0) P_{X_2}(1) + P_{X_1}(1) P_{X_2}(0) = (1-p)p + p(1-p) = 2p(1-p)\)
⚝ \(P_Y(2) = P_{X_1}(1) P_{X_2}(2-1) = P_{X_1}(1) P_{X_2}(1) = p \cdot p = p^2\)
⚝ \(P_Y(y) = 0\) 当 \(y \ne 0, 1, 2\)。
\[ P_Y(y) = \begin{cases} (1-p)^2, & y = 0 \\ 2p(1-p), & y = 1 \\ p^2, & y = 2 \\ 0, & \text{otherwise} \end{cases} \]
这正是二项分布 \(Binomial(2, p)\) 的 PMF。8.3.2 连续型随机变量的卷积 (Convolution of Continuous Random Variables)
\[ f_Z(z) = \int_{-\infty}^{\infty} f_X(x) f_Y(z-x) dx \]
或者等价地，
\[ f_Z(z) = \int_{-\infty}^{\infty} f_Y(y) f_X(z-y) dy \]
这个积分公式称为连续卷积公式。记作 \(f_Z = f_X * f_Y\)。
使用 CDF 方法。\(F_Z(z) = P(Z \le z) = P(X + Y \le z) = P(Y \le z - X)\)。
\[ F_Z(z) = \int_{-\infty}^{\infty} P(Y \le z - x | X = x) f_X(x) dx = \int_{-\infty}^{\infty} P(Y \le z - x) f_X(x) dx = \int_{-\infty}^{\infty} F_Y(z - x) f_X(x) dx \]
对 \(F_Z(z)\) 求导得到 \(f_Z(z)\)：
\[ f_Z(z) = \frac{d}{dz} F_Z(z) = \frac{d}{dz} \int_{-\infty}^{\infty} F_Y(z - x) f_X(x) dx = \int_{-\infty}^{\infty} \frac{\partial}{\partial z} F_Y(z - x) f_X(x) dx = \int_{-\infty}^{\infty} f_Y(z - x) f_X(x) dx \]
设 \(X_1 \sim N(0, 1)\) 和 \(X_2 \sim N(0, 1)\) 独立。求 \(Y = X_1 + X_2\) 的分布。
\(X_1\) 和 \(X_2\) 的 PDF 为 \(\phi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}\)。
使用卷积公式：
\[ f_Y(y) = \int_{-\infty}^{\infty} f_{X_1}(x) f_{X_2}(y-x) dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-x^2/2} \cdot \frac{1}{\sqrt{2\pi}} e^{-(y-x)^2/2} dx = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-\frac{1}{2} [x^2 + (y-x)^2]} dx \]
指数部分：\(x^2 + (y-x)^2 = x^2 + y^2 - 2xy + x^2 = 2x^2 - 2xy + y^2 = 2(x^2 - xy) + y^2 = 2(x - \frac{y}{2})^2 - 2(\frac{y}{2})^2 + y^2 = 2(x - \frac{y}{2})^2 + \frac{y^2}{2}\)。
\[ f_Y(y) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-\frac{1}{2} [2(x - \frac{y}{2})^2 + \frac{y^2}{2}]} dx = \frac{1}{2\pi} e^{-y^2/4} \int_{-\infty}^{\infty} e^{-(x - \frac{y}{2})^2} dx \]
令 \(u = \sqrt{2}(x - \frac{y}{2})\)，\(du = \sqrt{2} dx\)，\(dx = \frac{1}{\sqrt{2}} du\)。
\[ f_Y(y) = \frac{1}{2\pi} e^{-y^2/4} \int_{-\infty}^{\infty} e^{-u^2/2} \frac{1}{\sqrt{2}} du = \frac{1}{2\sqrt{2}\pi} e^{-y^2/4} \int_{-\infty}^{\infty} e^{-u^2/2} du = \frac{1}{2\sqrt{2}\pi} e^{-y^2/4} \cdot \sqrt{2\pi} = \frac{1}{\sqrt{4\pi}} e^{-y^2/4} = \frac{1}{\sqrt{2\pi}\sqrt{2}} e^{-y^2/(2 \cdot 2)} \]
这表明 \(Y \sim N(0, 2)\)。正态分布具有可加性，且方差相加。8.4 矩母函数 (Moment Generating Function, MGF)
8.4.1 矩母函数的定义 (Definition of Moment Generating Function)
\[ M_X(t) = E[e^{tX}] \]
其中 \(t\) 是实数，定义域为使得期望存在的 \(t\) 的集合。如果期望不存在，则 MGF 不存在。8.4.2 矩母函数的性质 (Properties of Moment Generating Function)
\[ E[X^n] = M_X^{(n)}(0) = \left. \frac{d^n}{dt^n} M_X(t) \right|_{t=0} \]
\[ M_Y(t) = E[e^{tY}] = E[e^{t(aX + b)}] = E[e^{atX + bt}] = e^{bt} E[e^{(at)X}] = e^{bt} M_X(at) \]
\[ M_Z(t) = E[e^{tZ}] = E[e^{t(X + Y)}] = E[e^{tX} e^{tY}] = E[e^{tX}] E[e^{tY}] = M_X(t) M_Y(t) \]
独立随机变量之和的 MGF 等于它们 MGF 的乘积。这个性质在求独立随机变量和的分布时非常有用。
设 \(X \sim Poisson(\lambda)\)。求 \(X\) 的 MGF。
\[ M_X(t) = E[e^{tX}] = \sum_{x=0}^{\infty} e^{tx} \frac{e^{-\lambda} \lambda^x}{x!} = e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda e^t)^x}{x!} = e^{-\lambda} e^{\lambda e^t} = e^{\lambda(e^t - 1)} \]
设 \(X_1 \sim Poisson(\lambda_1)\) 和 \(X_2 \sim Poisson(\lambda_2)\) 独立。求 \(Y = X_1 + X_2\) 的分布。
\(X_1\) 和 \(X_2\) 的 MGF 分别为 \(M_{X_1}(t) = e^{\lambda_1(e^t - 1)}\) 和 \(M_{X_2}(t) = e^{\lambda_2(e^t - 1)}\)。
由于 \(X_1\) 和 \(X_2\) 独立，\(Y = X_1 + X_2\) 的 MGF 为：
\[ M_Y(t) = M_{X_1}(t) M_{X_2}(t) = e^{\lambda_1(e^t - 1)} e^{\lambda_2(e^t - 1)} = e^{(\lambda_1 + \lambda_2)(e^t - 1)} \]
这正是参数为 \(\lambda_1 + \lambda_2\) 的泊松分布的 MGF。根据 MGF 的唯一性，\(Y \sim Poisson(\lambda_1 + \lambda_2)\)。8.5 特征函数 (Characteristic Function)
8.5.1 特征函数的定义 (Definition of Characteristic Function)
\[ \phi_X(t) = E[e^{itX}] = E[\cos(tX) + i \sin(tX)] = E[\cos(tX)] + i E[\sin(tX)] \]
其中 \(t\) 是实数，\(i\) 是虚数单位。特征函数总是存在的，因为 \(|e^{itX}| = |\cos(tX) + i \sin(tX)| = \sqrt{\cos^2(tX) + \sin^2(tX)} = 1\)，所以 \(|E[e^{itX}]| \le E[|e^{itX}|] = E[1] = 1\)。8.5.2 特征函数的性质 (Properties of Characteristic Function)
\[ E[X^n] = (-i)^n \phi_X^{(n)}(0) = (-i)^n \left. \frac{d^n}{dt^n} \phi_X(t) \right|_{t=0} \]
\[ \phi_Y(t) = E[e^{itY}] = E[e^{it(aX + b)}] = E[e^{iatX + ibt}] = e^{ibt} E[e^{(at)iX}] = e^{ibt} \phi_X(at) \]
\[ \phi_Z(t) = E[e^{itZ}] = E[e^{it(X + Y)}] = E[e^{itX} e^{itY}] = E[e^{itX}] E[e^{itY}] = \phi_X(t) \phi_Y(t) \]
独立随机变量之和的特征函数等于它们特征函数的乘积。
\[ f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx} \phi_X(t) dt \]
设 \(X \sim N(0, 1)\)。求 \(X\) 的特征函数。
\[ \phi_X(t) = E[e^{itX}] = \int_{-\infty}^{\infty} e^{itx} \frac{1}{\sqrt{2\pi}} e^{-x^2/2} dx = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{1}{2} (x^2 - 2itx)} dx \]
配方指数部分：\(x^2 - 2itx = (x - it)^2 - (it)^2 = (x - it)^2 + t^2\)。
\[ \phi_X(t) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{1}{2} [(x - it)^2 + t^2]} dx = \frac{1}{\sqrt{2\pi}} e^{-t^2/2} \int_{-\infty}^{\infty} e^{-\frac{1}{2} (x - it)^2} dx \]
令 \(u = x - it\)，形式上 \(du = dx\)。积分 \(\int_{-\infty}^{\infty} e^{-\frac{1}{2} (x - it)^2} dx = \int_{-\infty}^{\infty} e^{-u^2/2} du = \sqrt{2\pi}\)。严格证明需要复分析的知识，这里略过。
\[ \phi_X(t) = \frac{1}{\sqrt{2\pi}} e^{-t^2/2} \cdot \sqrt{2\pi} = e^{-t^2/2} \]
所以，标准正态分布 \(N(0, 1)\) 的特征函数为 \(e^{-t^2/2}\)。
设 \(X_1 \sim N(0, 1)\) 和 \(X_2 \sim N(0, 1)\) 独立。求 \(Y = X_1 + X_2\) 的分布。
\(X_1\) 和 \(X_2\) 的特征函数均为 \(\phi(t) = e^{-t^2/2}\)。
由于 \(X_1\) 和 \(X_2\) 独立，\(Y = X_1 + X_2\) 的特征函数为：
\[ \phi_Y(t) = \phi_{X_1}(t) \phi_{X_2}(t) = e^{-t^2/2} \cdot e^{-t^2/2} = e^{-t^2} = e^{-\frac{1}{2} (\sqrt{2}t)^2} \]
这正是 \(N(0, 2)\) 分布的特征函数，因为 \(N(0, \sigma^2)\) 的特征函数为 \(e^{-\sigma^2 t^2 / 2}\)。根据特征函数的唯一性，\(Y \sim N(0, 2)\)。9. chapter 9：大数定律与中心极限定理 (Laws of Large Numbers and Central Limit Theorem)
9.1 切比雪夫不等式 (Chebyshev's Inequality)
9.2 大数定律 (Laws of Large Numbers)
9.2.1 弱大数定律 (Weak Law of Large Numbers, WLLN)
9.2.2 强大数定律 (Strong Law of Large Numbers, SLLN)
9.3 中心极限定理 (Central Limit Theorem, CLT)
9.4 中心极限定理的应用 (Applications of Central Limit Theorem)
10. chapter 10：随机过程初步 (Introduction to Stochastic Processes)
10.1 随机过程的基本概念 (Basic Concepts of Stochastic Processes)
⚝ 状态空间 (State Space) \( S \)：对于每一个 \( t \in T \)，随机变量 \( X(t) \) 可能取值的集合称为状态空间 \( S \)。状态空间 \( S \) 可以是离散的，例如 \( S = \{0, 1, 2, \ldots\} \) 或 \( S = \{\ldots, -1, 0, 1, \ldots\} \)，也可以是连续的，例如 \( S = \mathbb{R} \) (实数集) 或 \( S = [0, \infty) \)。
⚝ 连续时间随机过程 (Continuous-Time Stochastic Process)：指标集 \( T \) 是连续的，例如 \( T = [0, \infty) \)。
⚝ 离散状态空间随机过程 (Discrete State Space Stochastic Process)：状态空间 \( S \) 是离散的，例如 \( S = \{0, 1, 2, \ldots\} \)。
⚝ 连续状态空间随机过程 (Continuous State Space Stochastic Process)：状态空间 \( S \) 是连续的，例如 \( S = \mathbb{R} \)。
⚝ 泊松过程 (Poisson Process)：描述单位时间内随机事件发生次数的计数过程，常用于模拟独立事件的随机发生，例如在一定时间内到达服务台的顾客数、放射性衰变事件等。
⚝ 布朗运动 (Brownian Motion)：描述微小粒子在液体或气体中随机运动的连续时间随机过程，是金融数学、物理学等领域的重要模型。
⚝ 高斯过程 (Gaussian Process)：任何有限个时间点上的随机变量集合都服从多元正态分布的随机过程。
⚝ 自协方差函数 (Autocovariance Function)：\( C_X(s, t) = Cov(X(s), X(t)) = E[(X(s) - \mu_X(s))(X(t) - \mu_X(t))] \)，描述随机过程在不同时间点 \( s \) 和 \( t \) 的状态之间的协变关系。
⚝ 排队论：顾客到达服务台的时间间隔和服务时间通常是随机的，排队系统中的顾客数量和等待时间可以用随机过程来分析。
⚝ 通信系统：无线信道中的信号衰落和噪声是随机的，信道状态的变化可以用随机过程来建模，以设计可靠的通信系统。
⚝ 生物学：种群数量的增长和衰退、基因突变的发生等生物现象都可以用随机过程进行建模和分析。10.2 马尔可夫链 (Markov Chains)
10.2.1 状态空间与转移概率 (State Space and Transition Probabilities)
② 行和为 1 (Row Sum to 1)：\( \sum_{j \in S} p_{ij} = 1 \) 对于所有 \( i \in S \)。
满足这两个性质的矩阵称为随机矩阵 (stochastic matrix)。10.2.2 平稳分布 (Stationary Distribution)
② 平稳性方程 (Stationary Equation)：\( \pi_j = \sum_{i \in S} \pi_i p_{ij} \) 对于所有 \( j \in S \)，或者用矩阵形式表示为 \( \pi = \pi P \)，其中 \( \pi \) 是行向量。
\[ \pi_j = \sum_{i \in S} \pi_i p_{ij}, \quad \forall j \in S \]
\[ \sum_{j \in S} \pi_j = 1 \]
⚝ 排队系统分析：马尔可夫链可以用于分析排队系统的稳态性能，例如平均队列长度、平均等待时间等。平稳分布可以帮助我们了解系统在长期运行下的平均状态。
⚝ 基因序列分析：在生物信息学中，马尔可夫链模型可以用于分析基因序列的统计特征，例如预测 DNA 序列中的基因区域。10.3 泊松过程 (Poisson Process)
② 具有独立增量性 (independent increments)：对于任意 \( 0 \le t_1 < t_2 < \ldots < t_n \)，增量 \( N(t_2) - N(t_1), N(t_3) - N(t_2), \ldots, N(t_n) - N(t_{n-1}) \) 相互独立。
③ 具有平稳增量性 (stationary increments)：对于任意 \( s, t \ge 0 \)，增量 \( N(t+s) - N(s) \) 的分布与 \( t \) 有关，而与 \( s \) 无关。更具体地，对于任意 \( t \ge 0 \) 和 \( k = 0, 1, 2, \ldots \)，有
⚝ 强度 (Intensity) \( \lambda \)：参数 \( \lambda \) 表示单位时间内事件发生的平均次数，也称为泊松过程的强度或速率。
⚝ 泊松分布 (Poisson Distribution)：在任意长度为 \( t \) 的时间区间内，事件发生的次数服从参数为 \( \lambda t \) 的泊松分布。
⚝ 独立增量性 (Independent Increments)：在不相交的时间区间内，事件的发生次数是相互独立的。例如，\( [0, t_1] \) 和 \( (t_1, t_2] \) 内的事件发生次数相互独立。
⚝ 平稳增量性 (Stationary Increments)：在相同长度的时间区间内，事件发生次数的分布是相同的，与时间区间的起始位置无关。
② 在充分小的时间间隔 \( \Delta t \) 内，发生两次或以上事件的概率可以忽略不计，即为 \( o(\Delta t) \)。
③ 在不相交的时间间隔内，事件的发生是独立的。
⚝ 复合泊松过程 (Compound Poisson Process)：每次事件发生时，不仅计数增加 1，还会伴随一个随机的“跳跃”大小。例如，在保险模型中，事件发生表示索赔发生，跳跃大小表示索赔金额。
⚝ 放射性衰变：放射性物质的原子核衰变是随机事件，单位时间内衰变的原子核数量可以用泊松过程描述。
⚝ 网络数据包到达：在计算机网络中，数据包到达路由器的过程可以用泊松过程近似建模。
⚝ 交通事故：在交通工程中，单位时间内道路上发生的交通事故数量可以用泊松过程进行分析。10.4 布朗运动 (Brownian Motion)
② 具有独立增量性 (independent increments)：对于任意 \( 0 \le t_1 < t_2 < \ldots < t_n \)，增量 \( B(t_2) - B(t_1), B(t_3) - B(t_2), \ldots, B(t_n) - B(t_{n-1}) \) 相互独立。
③ 具有平稳增量性 (stationary increments)：对于任意 \( s, t \ge 0 \)，增量 \( B(t+s) - B(s) \) 的分布与 \( t \) 有关，而与 \( s \) 无关。更具体地，对于任意 \( t \ge 0 \)，增量 \( B(t+s) - B(s) \sim N(0, t) \)，即服从均值为 0，方差为 \( t \) 的正态分布。
④ 轨道连续性 (Continuity of paths)：\( B(t) \) 关于 \( t \) 是连续函数，即样本路径是连续的。
⚝ 正态增量 (Normal Increments)：对于任意 \( 0 \le s < t \)，增量 \( B(t) - B(s) \sim N(0, t-s) \)。
⚝ 独立增量性 (Independent Increments)：不相交时间区间的增量相互独立。
⚝ 连续路径 (Continuous Paths)：布朗运动的样本路径是连续的，但几乎处处不可微 (nowhere differentiable)。
⚝ 马尔可夫性质 (Markov Property)：布朗运动是马尔可夫过程。
⚝ 反射原理 (Reflection Principle)：布朗运动的反射原理在计算首次到达时间等问题中非常有用。
⚝ 标度变换 (Scaling Property)：对于任意 \( c > 0 \)，\( \{cB(t/c^2), t \ge 0\} \) 仍然是标准布朗运动。
⚝ 时间反转 (Time Inversion)：\( \{tB(1/t), t > 0\} \) 加上 \( B(0) = 0 \) 也是标准布朗运动。
⚝ 物理学：布朗运动最初就是为了解释物理现象而提出的。它在描述微粒在液体或气体中的扩散运动、热噪声等方面有重要应用。
⚝ 工程学：在信号处理、控制理论、随机网络等领域，布朗运动及其相关过程被广泛用于建模随机噪声和不确定性。
⚝ 生物学：布朗运动可以用于描述生物细胞的运动轨迹、分子扩散等生物过程。11. chapter 11：概率论的应用 (Applications of Probability Theory)
11.1 金融领域的应用 (Applications in Finance)
\[ P_{t} = P_{t-1} + \epsilon_{t} \]
其中，\( P_{t} \) 是 \( t \) 时刻的资产价格，\( \epsilon_{t} \) 是均值为零的随机误差项。这个模型虽然简单，但揭示了价格变动的不可预测性。
\[ E(R_{i}) = R_{f} + \beta_{i} [E(R_{m}) - R_{f}] \]
其中，\( E(R_{i}) \) 是资产 \( i \) 的预期收益率，\( R_{f} \) 是无风险利率 (Risk-free Rate)，\( \beta_{i} \) 是资产 \( i \) 的 Beta 系数，\( E(R_{m}) \) 是市场组合的预期收益率。
\[ C = S_{0}N(d_{1}) - Ke^{-rT}N(d_{2}) \]
其中，\( C \) 是欧式看涨期权 (European Call Option) 的价格，\( S_{0} \) 是标的资产的当前价格，\( K \) 是行权价格 (Strike Price)，\( r \) 是无风险利率，\( T \) 是到期时间 (Time to Maturity)，\( N(\cdot) \) 是标准正态分布的累积分布函数 (Cumulative Distribution Function, CDF)，\( d_{1} \) 和 \( d_{2} \) 是与期权参数相关的变量。
⚝ Markowitz, H. M. (1952). Portfolio selection. The journal of finance, 7(1), 77-91.
⚝ Sharpe, W. F. (1964). Capital asset prices: A theory of market equilibrium under conditions of risk. The journal of finance, 19(3), 425-442.11.2 统计推断中的应用 (Applications in Statistical Inference)
\[ P(\theta | D) = \frac{P(D | \theta) P(\theta)}{P(D)} \propto P(D | \theta) P(\theta) \]
其中，\( \theta \) 是参数，\( D \) 是数据，\( P(\theta) \) 是先验分布，\( P(D | \theta) \) 是似然函数，\( P(\theta | D) \) 是后验分布，\( P(D) \) 是边缘似然 (Marginal Likelihood)，通常作为归一化常数。
⚝ Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian data analysis. CRC press.
⚝ Wasserman, L. (2004). All of statistics: a concise course in statistical inference. Springer Science & Business Media.11.3 计算机科学中的应用 (Applications in Computer Science)
▮▮▮▮⚝ 朴素贝叶斯分类器 (Naive Bayes Classifier)：基于贝叶斯定理和特征条件独立性假设 (Conditional Independence Assumption) 的分类算法。
▮▮▮▮⚝ 隐马尔可夫模型 (Hidden Markov Model, HMM)：用于序列数据建模的概率模型，广泛应用于语音识别 (Speech Recognition)、自然语言处理 (Natural Language Processing, NLP) 和生物信息学 (Bioinformatics) 等领域。
▮▮▮▮⚝ 高斯混合模型 (Gaussian Mixture Model, GMM)：用于聚类 (Clustering) 和密度估计 (Density Estimation) 的概率模型，假设数据由多个高斯分布 (Gaussian Distribution) 混合而成。
▮▮▮▮⚝ 深度学习 (Deep Learning)：深度学习模型，如神经网络 (Neural Network)，虽然不直接基于概率论，但在训练和应用过程中，概率论和统计学方法被广泛用于模型初始化、正则化 (Regularization)、优化 (Optimization) 和评估等方面。
⚝ Russell, S. J., & Norvig, P. (2016). Artificial intelligence: a modern approach. Pearson Education.
⚝ Bertsekas, D. P., & Gallager, R. G. (1992). Data networks. Prentice Hall.11.4 工程领域的应用 (Applications in Engineering)
▮▮▮▮⚝ 可靠度函数 (Reliability Function) \( R(t) \)：表示产品在时间 \( t \) 时刻之前正常工作的概率。
▮▮▮▮⚝ 失效概率函数 (Failure Probability Function) \( F(t) = 1 - R(t) \)：表示产品在时间 \( t \) 时刻之前失效的概率。
▮▮▮▮⚝ 平均失效时间 (Mean Time To Failure, MTTF)：表示产品从开始工作到首次失效的平均时间。
▮▮▮▮⚝ 失效率函数 (Failure Rate Function) \( \lambda(t) \)：表示在时间 \( t \) 时刻，仍在正常工作的产品在单位时间内失效的瞬时概率。
▮▮▮▮⚝ 指数分布模型 (Exponential Distribution Model)：适用于描述恒定失效率 (Constant Failure Rate) 的系统，常用于电子元器件的可靠性分析。
▮▮▮▮⚝ 威布尔分布模型 (Weibull Distribution Model)：适用于描述失效率随时间变化的系统，可以模拟早期失效 (Early Failure)、随机失效 (Random Failure) 和磨损失效 (Wear-out Failure) 等不同失效模式。
▮▮▮▮⚝ 串联系统 (Series System) 与并联系统 (Parallel System)：串联系统中，所有部件都必须正常工作系统才能正常工作；并联系统中，只要有一个部件正常工作系统就能正常工作。概率论用于计算串联系统和并联系统的可靠性。
⚝ Montgomery, D. C. (2020). Introduction to statistical quality control. John Wiley & Sons.
⚝ Hayes, M. H. (1996). Statistical digital signal processing and modeling. John Wiley & Sons.
⚝ Åström, K. J., & Wittenmark, B. (2013). Adaptive control. Pearson Education.11.5 生物医学领域的应用 (Applications in Biomedicine)
⚝ Rosner, B. (2015). Fundamentals of biostatistics. Cengage Learning.
⚝ Mount, D. W. (2004). Bioinformatics: sequence and genome analysis. Cold Spring Harbor Laboratory Press.
⚝ Prince, J. L., & Links, J. M. (Eds.). (2006). Medical imaging signals and systems. Pearson Prentice Hall.
⚝ Hodgson, J. (2001). ADMET—turning chemical soup into drugs. Nature biotechnology, 19(8), 721-726.12. chapter 12：高级主题与前沿进展 (Advanced Topics and Frontier Developments)
12.1 鞅论初步 (Introduction to Martingale Theory)
12.1.1 鞅、下鞅与上鞅 (Martingale, Submartingale, and Supermartingale)
② 适应性 (Adaptation): \(X_n\) 是 \(\mathcal{F}_n\)-可测的，即 \(X_n\) 的值在时刻 \(n\) 是已知的。
③ 鞅性质 (Martingale Property): \(E[X_{n+1} | \mathcal{F}_n] = X_n\) 对于所有 \(n \ge 0\)。
③' 下鞅性质 (Submartingale Property): \(E[X_{n+1} | \mathcal{F}_n] \ge X_n\) 对于所有 \(n \ge 0\)。
则称 \(\{X_n\}_{n \ge 0}\) 是一个下鞅。下鞅表示未来值的条件期望至少不小于当前值，意味着过程的期望值倾向于增加或保持不变。
③'' 上鞅性质 (Supermartingale Property): \(E[X_{n+1} | \mathcal{F}_n] \le X_n\) 对于所有 \(n \ge 0\)。
则称 \(\{X_n\}_{n \ge 0}\) 是一个上鞅。上鞅表示未来值的条件期望至多不大于当前值，意味着过程的期望值倾向于减少或保持不变。12.1.2 鞅的例子 (Examples of Martingales)
\[ E[X_{n+1} | \mathcal{F}_n] = E[X_n + Z_{n+1} | \mathcal{F}_n] = E[X_n | \mathcal{F}_n] + E[Z_{n+1} | \mathcal{F}_n] = X_n + E[Z_{n+1}] = X_n + 0 = X_n \]
因为 \(E[Z_{n+1}] = 1 \cdot (1/2) + (-1) \cdot (1/2) = 0\)，且 \(Z_{n+1}\) 独立于 \(\mathcal{F}_n\)。
\[ E[B_t | \mathcal{F}_s] = E[B_t - B_s + B_s | \mathcal{F}_s] = E[B_t - B_s | \mathcal{F}_s] + E[B_s | \mathcal{F}_s] = E[B_t - B_s] + B_s = 0 + B_s = B_s \]
因为布朗运动的增量 \(B_t - B_s\) 独立于 \(\mathcal{F}_s\) 且 \(E[B_t - B_s] = 0\)。12.1.3 停时定理 (Stopping Time Theorem)
12.1.4 鞅论的应用 (Applications of Martingale Theory)
12.2 随机微积分简介 (Introduction to Stochastic Calculus)
12.2.1 布朗运动与伊藤过程 (Brownian Motion and Itô Process)
② 路径连续。
③ 独立增量：对于 \(0 \le s < t\)，增量 \(B_t - B_s\) 独立于 \(\mathcal{F}_s = \sigma(B_u : 0 \le u \le s)\)。
④ 平稳增量：对于 \(0 \le s < t\)，增量 \(B_t - B_s \sim N(0, t-s)\)，服从均值为 0，方差为 \(t-s\) 的正态分布。
\[ X_t = X_0 + \int_0^t \mu_s ds + \int_0^t \sigma_s dB_s \]
其中 \(\mu_s\) 称为 漂移系数 (Drift Coefficient)，\(\sigma_s\) 称为 扩散系数 (Diffusion Coefficient)，它们都是适应过程，即在时刻 \(s\) 的值是已知的。\(\int_0^t \mu_s ds\) 是普通的 Riemann-Stieltjes 积分，而 \(\int_0^t \sigma_s dB_s\) 是 伊藤积分 (Itô Integral)。12.2.2 伊藤积分 (Itô Integral)
12.2.3 伊藤公式 (Itô's Lemma)
\[ dY_t = \frac{\partial f}{\partial t}(t, X_t) dt + \frac{\partial f}{\partial x}(t, X_t) dX_t + \frac{1}{2} \frac{\partial^2 f}{\partial x^2}(t, X_t) (dX_t)^2 \]
其中 \((dX_t)^2\) 的计算规则为：
\[ (dt)^2 = dt dB_t = dB_t dt = 0, \quad (dB_t)^2 = dt \]
将 \(dX_t = \mu_t dt + \sigma_t dB_t\) 代入伊藤公式，得到：
\[ dY_t = \left[ \frac{\partial f}{\partial t}(t, X_t) + \mu_t \frac{\partial f}{\partial x}(t, X_t) + \frac{1}{2} \sigma_t^2 \frac{\partial^2 f}{\partial x^2}(t, X_t) \right] dt + \sigma_t \frac{\partial f}{\partial x}(t, X_t) dB_t \]
伊藤公式中的二次变差项 \(\frac{1}{2} \sigma_t^2 \frac{\partial^2 f}{\partial x^2}(t, X_t) dt\) 是经典微积分中没有的，也是随机微积分的关键特征。12.2.4 随机微分方程 (Stochastic Differential Equations, SDEs)
\[ dX_t = b(t, X_t) dt + \sigma(t, X_t) dB_t \]
其中 \(b(t, x)\) 是漂移函数，\(\sigma(t, x)\) 是扩散函数，\(B_t\) 是布朗运动。SDE 描述了随机过程 \(X_t\) 的动态行为。解 SDE 意味着找到一个适应过程 \(X_t\) 满足上述方程。12.2.5 随机微积分的应用 (Applications of Stochastic Calculus)
12.3 大偏差理论 (Large Deviation Theory)
12.3.1 大偏差原理 (Large Deviation Principle, LDP)
\[ \lim_{\epsilon \to 0} \epsilon \log P(A_\epsilon) = - \inf_{x \in A} I(x) \]
则称随机事件 \(\{A_\epsilon\}_{\epsilon > 0}\) 满足大偏差原理，速率函数为 \(I(x)\)。速率函数 \(I(x)\) 刻画了偏差 \(x\) 的“代价”，\(I(x)\) 越大，偏差 \(x\) 越不可能发生。
② \(I(x)\) 是下半连续的。
③ 水平集 \(\{x : I(x) \le c\}\) 对于任何 \(c < \infty\) 是紧集。12.3.2 克拉美尔定理 (Cramér's Theorem)
\[ I(x) = \sup_{\lambda} \{ \lambda x - \log M(\lambda) \} \]
克拉美尔速率函数 \(I(x)\) 是 勒让德-芬chel变换 (Legendre-Fenchel Transform) 的形式。它刻画了样本均值偏离期望值 \(\mu\) 的概率衰减速度。12.3.3 大偏差的应用 (Applications of Large Deviation Theory)
12.3.4 大偏差理论的扩展 (Extensions of Large Deviation Theory)
12.4 随机图论 (Random Graph Theory)
12.4.1 Erdős-Rényi 模型 (Erdős-Rényi Model)
12.4.2 随机图的性质 (Properties of Random Graphs)
12.4.3 随机图模型 (Random Graph Models)
12.4.4 随机图的应用 (Applications of Random Graph Theory)
12.5 概率论的现代研究方向 (Modern Research Directions in Probability Theory)
12.5.1 高维概率 (High-Dimensional Probability)
12.5.2 流形上的随机分析 (Stochastic Analysis on Manifolds)
12.5.3 概率机器学习 (Probabilistic Machine Learning)
12.5.4 量子概率 (Quantum Probability)
12.5.5 概率论的交叉学科研究 (Interdisciplinary Research in Probability Theory)