010 《信息论：多用户信道深度解析 (Information Theory: In-depth Analysis of Multi-User Channels)》
🌟🌟🌟本文案由Gemini 2.5 Flash Preview 04-17创作，用来辅助学习知识。🌟🌟🌟
书籍大纲
▮▮▮▮ chapter 1: 多用户信道导论 (Introduction to Multi-User Channels)
▮▮▮▮▮▮▮ 1.1 信息论回顾与多用户信道概述 (Information Theory Review and Overview of Multi-User Channels)
▮▮▮▮▮▮▮ 1.2 多用户信道的分类与基本模型 (Classification and Basic Models of Multi-User Channels)
▮▮▮▮▮▮▮ 1.3 多用户信息论的核心问题与挑战 (Core Problems and Challenges in Multi-User Information Theory)
▮▮▮▮▮▮▮ 1.4 本书结构、阅读建议与符号约定 (Book Structure, Reading Suggestions, and Notation)
▮▮▮▮▮▮▮▮▮▮▮ 1.4.1 本书结构与内容安排 (Book Structure and Content Arrangement)
▮▮▮▮▮▮▮▮▮▮▮ 1.4.2 不同读者群体的阅读建议 (Reading Suggestions for Different Reader Groups)
▮▮▮▮▮▮▮▮▮▮▮ 1.4.3 主要符号与术语约定 (Convention of Main Symbols and Terms)
▮▮▮▮ chapter 2: 单用户信息论基础回顾 (Review of Single-User Information Theory Fundamentals)
▮▮▮▮▮▮▮ 2.1 概率论与随机过程基础 (Fundamentals of Probability Theory and Stochastic Processes)
▮▮▮▮▮▮▮ 2.2 熵 (Entropy)、联合熵 (Joint Entropy) 与条件熵 (Conditional Entropy)
▮▮▮▮▮▮▮ 2.3 互信息 (Mutual Information) 与条件互信息 (Conditional Mutual Information)
▮▮▮▮▮▮▮ 2.4 数据压缩的极限：信源编码定理 (Limits of Data Compression: Source Coding Theorem)
▮▮▮▮▮▮▮ 2.5 通信的极限：信道容量 (Channel Capacity) 与信道编码定理 (Channel Coding Theorem)
▮▮▮▮▮▮▮ 2.6 典型性 (Typicality) 与渐近等分性 (Asymptotic Equipartition Property, AEP)
▮▮▮▮ chapter 3: 多址接入信道 (Multiple Access Channel, MAC)
▮▮▮▮▮▮▮ 3.1 MAC 模型定义与示例 (MAC Model Definition and Examples)
▮▮▮▮▮▮▮ 3.2 MAC 容量区域 (MAC Capacity Region) 的概念
▮▮▮▮▮▮▮ 3.3 可达性证明：联合典型性解码 (Achievability Proof: Joint Typicality Decoding)
▮▮▮▮▮▮▮▮▮▮▮ 3.3.1 编码方案 (Encoding Scheme)
▮▮▮▮▮▮▮▮▮▮▮ 3.3.2 联合典型性解码器 (Joint Typicality Decoder)
▮▮▮▮▮▮▮▮▮▮▮ 3.3.3 错误概率分析 (Error Probability Analysis)
▮▮▮▮▮▮▮ 3.4 容量区域的逆定理证明 (Converse Proof of the Capacity Region)
▮▮▮▮▮▮▮ 3.5 高斯 MAC (Gaussian MAC)
▮▮▮▮▮▮▮ 3.6 MAC 的扩展：同步与异步 MAC (Extensions of MAC: Synchronous and Asynchronous MAC)
▮▮▮▮ chapter 4: 广播信道 (Broadcast Channel, BC)
▮▮▮▮▮▮▮ 4.1 BC 模型定义与示例 (BC Model Definition and Examples)
▮▮▮▮▮▮▮ 4.2 BC 容量区域 (BC Capacity Region) 的概念
▮▮▮▮▮▮▮ 4.3 退化广播信道 (Degraded Broadcast Channel)
▮▮▮▮▮▮▮▮▮▮▮ 4.3.1 退化条件的定义 (Definition of Degraded Condition)
▮▮▮▮▮▮▮▮▮▮▮ 4.3.2 容量区域与叠加编码 (Capacity Region and Superposition Coding)
▮▮▮▮▮▮▮ 4.4 非退化广播信道 (Non-Degraded Broadcast Channel)
▮▮▮▮▮▮▮ 4.5 脏纸编码 (Dirty Paper Coding, DPC) 原理与应用
▮▮▮▮▮▮▮ 4.6 高斯 BC (Gaussian BC)
▮▮▮▮ chapter 5: 干扰信道 (Interference Channel, IC)
▮▮▮▮▮▮▮ 5.1 IC 模型定义与示例 (IC Model Definition and Examples)
▮▮▮▮▮▮▮ 5.2 IC 容量区域的复杂性与挑战 (Complexity and Challenges of IC Capacity Region)
▮▮▮▮▮▮▮ 5.3 自由度 (Degrees of Freedom, DoF) 分析
▮▮▮▮▮▮▮ 5.4 Han-Kobayashi 可达区域 (Han-Kobayashi Achievable Region)
▮▮▮▮▮▮▮ 5.5 高斯 IC (Gaussian IC) 的特殊结果
▮▮▮▮ chapter 6: 中继信道 (Relay Channel)
▮▮▮▮▮▮▮ 6.1 中继信道模型定义与分类 (Relay Channel Model Definition and Classification)
▮▮▮▮▮▮▮ 6.2 割集界 (Cut-Set Bound)
▮▮▮▮▮▮▮ 6.3 可达方案：解码转发 (Decode-and-Forward, DF)
▮▮▮▮▮▮▮ 6.4 可达方案：放大转发 (Amplify-and-Forward, AF)
▮▮▮▮▮▮▮ 6.5 可达方案：压缩转发 (Compress-and-Forward, CF)
▮▮▮▮ chapter 7: 其他多用户信道模型 (Other Multi-User Channel Models)
▮▮▮▮▮▮▮ 7.1 双向信道 (Two-Way Channel)
▮▮▮▮▮▮▮ 7.2 带有状态信息的信道 (Channels with State Information)
▮▮▮▮▮▮▮ 7.3 带有反馈的信道 (Channels with Feedback)
▮▮▮▮ chapter 8: 网络信息论基础 (Fundamentals of Network Information Theory)
▮▮▮▮▮▮▮ 8.1 通用网络模型与信息流 (General Network Model and Information Flow)
▮▮▮▮▮▮▮ 8.2 多终端割集界 (Multi-Terminal Cut-Set Bounds)
▮▮▮▮▮▮▮ 8.3 网络编码 (Network Coding) 简介
▮▮▮▮▮▮▮ 8.4 特定网络示例分析 (Analysis of Specific Network Examples)
▮▮▮▮ chapter 9: 高级主题与研究前沿 (Advanced Topics and Research Frontiers)
▮▮▮▮▮▮▮ 9.1 认知无线电信道 (Cognitive Radio Channels)
▮▮▮▮▮▮▮ 9.2 物理层安全 (Physical Layer Security) 在多用户场景中的应用
▮▮▮▮▮▮▮ 9.3 缓存与内容分发网络 (Caching and Content Distribution Networks)
▮▮▮▮▮▮▮ 9.4 多天线 (MIMO) 与大规模 MIMO (Massive MIMO) 中的多用户信息论
▮▮▮▮▮▮▮ 9.5 非正交多址接入 (Non-Orthogonal Multiple Access, NOMA) 的信息论分析
▮▮▮▮▮▮▮ 9.6 开放问题与未来研究方向 (Open Problems and Future Research Directions)
▮▮▮▮ chapter 10: 总结与展望 (Conclusion and Outlook)
▮▮▮▮▮▮▮ 10.1 主要内容回顾与知识体系梳理 (Recap of Main Contents and Knowledge System)
▮▮▮▮▮▮▮ 10.2 多用户信息论的理论意义与实践价值 (Theoretical Significance and Practical Value of Multi-User Information Theory)
▮▮▮▮▮▮▮ 10.3 理论研究与工程实践的结合 (Integration of Theoretical Research and Engineering Practice)
▮▮▮▮ chapter 11: 附录 (Appendices)
▮▮▮▮▮▮▮ 11.1 数学工具回顾 (Review of Mathematical Tools)
▮▮▮▮▮▮▮ 11.2 主要定理证明概要 (Outline of Major Theorem Proofs)
▮▮▮▮▮▮▮ 11.3 符号列表 (List of Symbols)
▮▮▮▮ chapter 12: 参考文献 (References)
▮▮▮▮▮▮▮ 12.1 经典著作与教材 (Classic Books and Textbooks)
▮▮▮▮▮▮▮ 12.2 重要研究论文 (Important Research Papers)
▮▮▮▮▮▮▮ 12.3 其他参考资料 (Other References)
1. chapter 1： 多用户信道导论 (Introduction to Multi-User Channels)
1.1 信息论回顾与多用户信道概述 (Information Theory Review and Overview of Multi-User Channels)
欢迎来到信息论中一个既迷人又充满挑战的领域：多用户信道 (Multi-User Channels)。在深入探讨之前，让我们快速回顾一下由克劳德·香农 (Claude Shannon) 在1948年奠定的信息论基石。单用户信息论 (Single-User Information Theory) 主要关注两个基本问题：数据压缩的极限（信源编码 (Source Coding)）和可靠通信的极限（信道编码 (Channel Coding)）。
对于信源编码，我们关心的是如何用最少的比特 (bits) 来表示信息源，其极限由信源的熵 (Entropy) \(H(X)\) 给出。香农的信源编码定理 (Source Coding Theorem) 告诉我们，任何可压缩到低于熵的速率的编码方案都必然会丢失信息，而存在一种编码方案，其平均码长可以任意接近熵。
对于信道编码，我们关心的是如何在有噪声的信道上以最大速率可靠地传输信息。其极限由信道容量 (Channel Capacity) \(C\) 给出。香农的信道编码定理 (Channel Coding Theorem) 是信息论中最深刻的结论之一，它指出，对于任何传输速率 \(R < C\)，存在一种编码和解码方案，使得错误概率 (Error Probability) 随着码长 (codeword length) 的增加趋近于零；而对于任何 \(R > C\)，错误概率不可能趋近于零。信道容量 \(C\) 定义为输入和输出之间互信息 (Mutual Information) 的最大值：\(C = \max_{p(x)} I(X;Y)\)。
单用户信息论为我们理解通信系统的基本限制提供了强大的理论框架。然而，现代通信系统，如蜂窝网络、Wi-Fi、卫星通信等，本质上都是多用户的。在这些系统中，多个用户需要共享有限的通信资源（如时间、频率、功率），用户之间的信号会相互影响，产生干扰 (Interference)。简单地将单用户理论应用于每个用户是远远不够的，因为这忽略了用户间的相互作用。
多用户信息论正是为了解决这些复杂的多用户通信场景而诞生的。它研究的是当多个发送端 (transmitters) 和/或多个接收端 (receivers) 通过同一个物理信道进行通信时，信息传输的根本限制和最优策略。与单用户信道不同，多用户信道通常没有一个单一的容量值，而是由一个容量区域 (Capacity Region) 来描述，这个区域包含了所有用户可以同时实现的可靠传输速率的组合。
多用户信息论不仅是理论研究的热点，也是现代通信系统设计（如多址技术、干扰管理、协作通信等）的理论基础。理解多用户信道的原理和容量限制，对于设计高效、可靠、高性能的通信系统至关重要。
1.2 多用户信道的分类与基本模型 (Classification and Basic Models of Multi-User Channels)
多用户信道根据发送端和接收端的数量及连接方式，可以分为多种基本类型。理解这些基本模型是掌握多用户信息论的关键。以下是一些最常见的类型：
① 多址接入信道 (Multiple Access Channel, MAC)
⚝ 定义：多个发送端（用户）同时向一个接收端发送信息。
⚝ 示例：蜂窝系统中的上行链路（多个手机向基站发送数据），Wi-Fi 网络中多个设备向接入点发送数据。
⚝ 基本模型：假设有 \(K\) 个发送端和一个接收端。第 \(k\) 个发送端输入为 \(X_k\)，所有发送端的输入共同决定接收端的输出 \(Y\)。信道由条件概率分布 \(p(y | x_1, x_2, \dots, x_K)\) 描述。
\[ Y = g(X_1, X_2, \dots, X_K) + Z \]
其中 \(g(\cdot)\) 是一个函数，\(Z\) 是噪声。
② 广播信道 (Broadcast Channel, BC)
⚝ 定义：一个发送端同时向多个接收端发送信息。
⚝ 示例：蜂窝系统中的下行链路（基站向多个手机发送数据），广播电视或无线电。
⚝ 基本模型：一个发送端输入为 \(X\)，输出被 \(K\) 个接收端接收，第 \(k\) 个接收端的输出为 \(Y_k\)。信道由条件概率分布 \(p(y_1, y_2, \dots, y_K | x)\) 描述。通常假设接收端之间是独立的，即 \(p(y_1, \dots, y_K | x) = \prod_{k=1}^K p(y_k | x)\)。
\[ Y_k = g_k(X) + Z_k, \quad k=1, \dots, K \]
其中 \(g_k(\cdot)\) 是函数，\(Z_k\) 是噪声。
③ 干扰信道 (Interference Channel, IC)
⚝ 定义：多个发送端-接收端对同时通信，每个发送端的信号不仅到达其对应的接收端，还会干扰其他接收端。
⚝ 示例：两个或多个独立的通信链路在地理上接近，使用相同的频段。
⚝ 基本模型：假设有 \(K\) 对发送端-接收端。第 \(k\) 个发送端输入为 \(X_k\)，旨在向第 \(k\) 个接收端发送信息，第 \(k\) 个接收端输出为 \(Y_k\)。第 \(k\) 个接收端的输出不仅依赖于 \(X_k\)，还依赖于其他发送端的输入 \(X_j\) (\(j \neq k\))。信道由条件概率分布 \(p(y_1, y_2, \dots, y_K | x_1, x_2, \dots, x_K)\) 描述。对于 \(K=2\) 的情况，模型通常表示为：
\[ Y_1 = g_{11}(X_1) + g_{12}(X_2) + Z_1 \]
\[ Y_2 = g_{21}(X_1) + g_{22}(X_2) + Z_2 \]
其中 \(g_{ij}(\cdot)\) 表示从发送端 \(j\) 到接收端 \(i\) 的信道函数。
④ 中继信道 (Relay Channel)
⚝ 定义：一个发送端通过一个或多个中间节点（中继）向一个接收端发送信息。中继节点可以接收信号并协助传输。
⚝ 示例：通信链路中存在障碍物，需要中继来绕过；协作通信系统。
⚝ 基本模型：一个发送端 \(X_S\)，一个接收端 \(Y_D\)，一个中继节点 \(R\)。中继节点接收信号 \(Y_R\)，并发送信号 \(X_R\)。接收端 \(Y_D\) 接收来自发送端和中继的信号。信道由 \(p(y_R, y_D | x_S, x_R)\) 描述。
\[ Y_R = g_{SR}(X_S) + Z_R \]
\[ Y_D = g_{SD}(X_S) + g_{RD}(X_R) + Z_D \]
⑤ 双向信道 (Two-Way Channel)
⚝ 定义：两个节点互相交换信息。
⚝ 示例：电话通话，视频会议。
⚝ 基本模型：节点1输入 \(X_1\)，输出 \(Y_1\)；节点2输入 \(X_2\)，输出 \(Y_2\)。节点1的输出 \(Y_1\) 依赖于 \(X_1\) 和 \(X_2\)，节点2的输出 \(Y_2\) 也依赖于 \(X_1\) 和 \(X_2\)。信道由 \(p(y_1, y_2 | x_1, x_2)\) 描述。
\[ Y_1 = g_1(X_1, X_2) + Z_1 \]
\[ Y_2 = g_2(X_1, X_2) + Z_2 \]
这些基本模型构成了多用户通信系统的基础抽象。在实际系统中，往往是这些基本模型的组合或更复杂的变体。例如，蜂窝网络是一个复杂的系统，其上行链路可以建模为 MAC，下行链路可以建模为 BC，而相邻小区的用户之间则存在 IC。
1.3 多用户信息论的核心问题与挑战 (Core Problems and Challenges in Multi-User Information Theory)
多用户信息论的核心目标是理解和量化多用户通信系统的性能极限。与单用户信道容量是一个标量值不同，多用户信道的性能极限通常由一个容量区域 (Capacity Region) 来描述。
⚝ 核心问题：
① 容量区域的刻画 (Characterization of the Capacity Region)：对于给定的多用户信道模型，确定所有用户可以同时实现且错误概率趋于零的传输速率向量 \((R_1, R_2, \dots, R_K)\) 的集合。这个集合的闭凸包 (closed convex hull) 就是容量区域。
② 可达性证明 (Achievability Proof)：设计具体的编码和解码方案，证明容量区域内的任何速率向量都是可以达到的。这通常涉及多用户编码技术，如联合编码 (joint encoding)、叠加编码 (superposition coding)、脏纸编码 (dirty paper coding) 等，以及相应的多用户解码技术，如联合典型性解码 (joint typicality decoding)、串行干扰抵消 (successive interference cancellation, SIC) 等。
③ 逆定理证明 (Converse Proof)：证明容量区域外的任何速率向量都是不可达的。这通常涉及信息论的界限，如芬斯勒不等式 (Fano's inequality)、数据处理不等式 (data processing inequality) 以及各种割集界 (cut-set bounds)。
⚝ 主要挑战：
① 干扰管理 (Interference Management)：在多用户信道中，用户之间的干扰是普遍存在的。如何有效地管理、减轻甚至利用干扰是核心挑战。不同的信道模型（MAC、BC、IC）中，干扰的表现形式和处理方式各不相同。
② 多用户编码与解码 (Multi-User Coding and Decoding)：需要设计能够协调多个用户行为的编码和解码策略。这比单用户编码复杂得多，需要考虑用户间的依赖性、信息共享（或缺乏共享）等因素。
③ 容量区域的复杂性 (Complexity of Capacity Region)：除了少数简单的多用户信道（如离散无记忆 MAC 和退化 BC），大多数多用户信道（如非退化 BC、IC、中继信道等）的容量区域至今仍是未知的开放问题，或者其表达式非常复杂。研究往往集中于寻找可达区域 (achievable regions) 或各种容量界限 (capacity bounds)。
④ 实际约束的考虑 (Consideration of Practical Constraints)：理论模型通常基于理想假设（如无限码长、完美信道状态信息 (channel state information, CSI)）。在实际系统中，码长有限、CSI 不完美、计算复杂度限制等都会影响性能，如何将理论结果与实际系统设计相结合是重要的挑战。
⑤ 网络效应 (Network Effects)：当多个基本多用户信道互连形成通信网络时，问题变得更加复杂。网络信息论 (Network Information Theory) 研究的是更一般的网络模型，其中信息流向和用户交互更加多样化，引入了网络编码 (Network Coding) 等新的概念和挑战。
尽管存在这些挑战，多用户信息论已经取得了丰硕的成果，为我们理解和设计下一代通信系统提供了宝贵的理论指导。本书将系统地介绍这些基本模型、核心问题以及已有的重要结果和研究方法。
1.4 本书结构、阅读建议与符号约定 (Book Structure, Reading Suggestions, and Notation)
为了帮助读者更好地学习和掌握多用户信息论，本节将介绍本书的整体结构、针对不同读者群体的阅读建议以及本书使用的主要符号和术语约定。
1.4.1 本书结构与内容安排 (Book Structure and Content Arrangement)
本书旨在提供一个全面且深度解析的多用户信道信息论教程，内容安排遵循从基础到深入、从经典模型到前沿研究的逻辑顺序。
① 基础回顾 (Chapters 1-2)：
⚝ Chapter 1：多用户信道导论，概述多用户信道的概念、分类和核心问题。
⚝ Chapter 2：单用户信息论基础回顾，为不熟悉信息论的读者或需要巩固基础的读者提供必要的预备知识，包括概率论基础、熵、互信息、信源编码和信道编码定理等。
② 经典多用户信道模型 (Chapters 3-6)：
⚝ Chapter 3：多址接入信道 (MAC)，详细介绍 MAC 的容量区域、可达性证明（联合典型性解码）和逆定理，以及高斯 MAC。
⚝ Chapter 4：广播信道 (BC)，介绍 BC 容量区域的概念，重点分析退化广播信道（叠加编码）和非退化广播信道，以及脏纸编码原理。
⚝ Chapter 5：干扰信道 (IC)，讨论 IC 容量区域的复杂性，介绍自由度 (DoF) 分析和 Han-Kobayashi 可达区域等重要结果。
⚝ Chapter 6：中继信道 (Relay Channel)，介绍中继信道模型，分析割集界以及解码转发 (DF)、放大转发 (AF)、压缩转发 (CF) 等可达方案。
③ 其他多用户信道模型与网络信息论 (Chapters 7-8)：
⚝ Chapter 7：其他多用户信道模型，介绍双向信道、带有状态信息的信道、带有反馈的信道等。
⚝ Chapter 8：网络信息论基础，引入通用网络模型和信息流概念，讨论多终端割集界和网络编码基础。
④ 高级主题与研究前沿 (Chapter 9)：
⚝ Chapter 9：高级主题与研究前沿，探讨认知无线电、物理层安全、缓存网络、MIMO/大规模 MIMO 中的多用户信息论、NOMA 等当前研究热点和开放问题。
⑤ 总结与展望 (Chapter 10)：
⚝ Chapter 10：总结与展望，回顾全书主要内容，讨论多用户信息论的理论与实践价值，并展望未来发展方向。
⑥ 附录与参考文献 (Chapters 11-12)：
⚝ Chapter 11：附录，提供数学工具回顾、主要定理证明概要和符号列表。
⚝ Chapter 12：参考文献，列出经典著作、重要论文和其他参考资料，供读者深入学习。
本书的结构设计旨在循序渐进，帮助读者逐步建立多用户信息论的知识体系。
1.4.2 不同读者群体的阅读建议 (Reading Suggestions for Different Reader Groups)
本书内容涵盖从基础概念到前沿研究，适合不同背景和目标的读者。
① 信息论初学者 (Beginners)：
⚝ 建议：重点阅读 Chapter 1 和 Chapter 2，确保对单用户信息论有扎实理解。然后阅读 Chapter 3 和 Chapter 4 的前几节，理解 MAC 和 BC 的基本模型和容量区域概念。可以暂时跳过复杂的定理证明和高级主题。通过阅读本书，建立对多用户信道基本概念和主要问题的初步认识。
⚝ 目标：理解多用户信道的基本分类、容量区域的概念以及 MAC 和 BC 的基本原理。
② 信息论中级学习者 (Intermediate)：
⚝ 建议：在掌握 Chapter 1 和 Chapter 2 的基础上，系统学习 Chapter 3 至 Chapter 7 的内容。尝试理解主要定理的证明思路，特别是可达性证明和逆定理证明。可以开始阅读 Chapter 8 的基础部分。
⚝ 目标：全面掌握经典多用户信道模型的容量区域和分析方法，理解多用户编码和解码的基本原理。
③ 信息论研究人员或专家 (Experts)：
⚝ 建议：可以快速回顾 Chapter 1 和 Chapter 2，将重点放在 Chapter 3 至 Chapter 8 的深度解析和证明细节上。深入研究 Chapter 9 的高级主题和研究前沿，并结合 Chapter 12 的参考文献进行拓展阅读。本书可以作为系统回顾和查找特定主题的参考书。
⚝ 目标：深入理解多用户信息论的理论细节和证明技巧，了解当前研究热点和开放问题，为自己的研究提供参考和启发。
无论您是哪种类型的读者，都建议在学习过程中勤于思考，尝试推导书中的公式和证明步骤，并结合实际通信系统中的例子来加深理解。
1.4.3 主要符号与术语约定 (Convention of Main Symbols and Terms)
为了保持一致性和清晰性，本书在符号和术语使用上遵循以下约定：
① 术语表示：重要的信息论或通信领域的术语将采用“中文（英文）”的形式首次出现，例如：熵（Entropy）、信道容量（Channel Capacity）。后续出现时可能只使用中文或英文缩写（如 MAC, BC）。
② 随机变量与实现：大写字母 \(X\) 通常表示随机变量（Random Variable），小写字母 \(x\) 表示其具体的实现值（realization）。随机向量（Random Vector）用粗体大写字母表示，如 \(\mathbf{X}\)。
③ 概率：\(P(x)\) 或 \(p(x)\) 表示随机变量 \(X\) 取值为 \(x\) 的概率质量函数（Probability Mass Function, PMF）或概率密度函数（Probability Density Function, PDF）。\(P(y|x)\) 或 \(p(y|x)\) 表示条件概率（Conditional Probability）。
④ 期望：\(E[\cdot]\) 表示期望（Expectation）。
⑤ 信息度量：
⚝ 熵：\(H(X)\)
⚝ 联合熵：\(H(X,Y)\)
⚝ 条件熵：\(H(Y|X)\)
⚝ 互信息：\(I(X;Y)\)
⚝ 条件互信息：\(I(X;Y|Z)\)
⑥ 速率与容量：
⚝ 传输速率：\(R\) 或 \(R_k\) (用户 \(k\) 的速率)
⚝ 信道容量：\(C\)
⚝ 容量区域：\(\mathcal{C}\)
⑦ 集合与空间：集合通常用花体字母表示，如输入字母表 \(\mathcal{X}\)，输出字母表 \(\mathcal{Y}\)。向量空间或集合用粗体表示，如速率区域 \(\mathcal{R}\)。
⑧ 渐近符号：\(o(1)\) 表示当某个参数（如码长 \(n\)）趋于无穷大时趋于零的项。
⑨ 对数底数：除非特别说明，本书中的对数 \(\log\) 均以2为底，单位为比特（bits）。
⑩ 向量与矩阵：向量用粗体小写字母表示，如 \(\mathbf{x}\)；矩阵用粗体大写字母表示，如 \(\mathbf{H}\)。
更详细的符号列表将在附录中给出。在阅读过程中遇到不熟悉的符号或术语时，可以查阅附录或回溯到其首次出现的位置。
希望本章能为您打开多用户信息论的大门，激发您对这一领域的兴趣。接下来，我们将回顾单用户信息论的基础知识，为后续章节的学习做好准备。
2. 单用户信息论基础回顾 (Review of Single-User Information Theory Fundamentals)
欢迎来到本书的第二章。在深入探讨多用户信道 (Multi-User Channels) 的复杂世界之前，我们有必要先回顾一下单用户信息论 (Single-User Information Theory) 的核心概念和基本定理。单用户信息论是整个信息论大厦的基石，理解其原理对于掌握多用户通信的理论极限至关重要。本章将系统地梳理概率论 (Probability Theory) 和随机过程 (Stochastic Processes) 的基础知识，然后重点介绍信息论中的几个核心度量：熵 (Entropy)、联合熵 (Joint Entropy)、条件熵 (Conditional Entropy)、互信息 (Mutual Information) 和条件互信息 (Conditional Mutual Information)。最后，我们将回顾信息论中最 fundamental 的两个定理：信源编码定理 (Source Coding Theorem) 和信道编码定理 (Channel Coding Theorem)，并介绍理解这些定理证明的关键概念——典型性 (Typicality) 和渐近等分性 (Asymptotic Equipartition Property, AEP)。
本章的内容对于初学者来说是入门多用户信息论的必要准备；对于有一定基础的读者，本章提供了一个系统性的回顾，帮助巩固知识体系；对于专家而言，本章可以作为一个快速查阅基本概念的参考。我们将力求以清晰、严谨的方式呈现这些基础知识。
2.1 概率论与随机过程基础 (Fundamentals of Probability Theory and Stochastic Processes)
信息论是建立在概率论基础之上的。通信系统中的信息源 (Information Source) 和信道 (Channel) 本质上都是随机的。因此，理解概率论的基本概念是学习信息论的第一步。
⚝ 随机变量 (Random Variables)：一个随机变量 \( X \) 是一个函数，它将一个随机试验的结果映射到一个实数。我们可以通过其 概率分布 (Probability Distribution) 来描述随机变量的统计特性。
▮▮▮▮⚝ 对于离散随机变量 (Discrete Random Variable)，其概率分布由 概率质量函数 (Probability Mass Function, PMF) \( p_X(x) = P(X=x) \) 给出。
▮▮▮▮⚝ 对于连续随机变量 (Continuous Random Variable)，其概率分布由 概率密度函数 (Probability Density Function, PDF) \( f_X(x) \) 给出。
⚝ 联合分布 (Joint Distributions)：对于多个随机变量 \( X_1, X_2, \dots, X_n \)，它们的联合分布描述了它们同时取特定值的概率。对于离散变量，是 联合概率质量函数 (Joint PMF) \( p_{X_1, \dots, X_n}(x_1, \dots, x_n) = P(X_1=x_1, \dots, X_n=x_n) \)。
⚝ 条件分布 (Conditional Distributions)：给定随机变量 \( Y=y \)，随机变量 \( X \) 的 条件分布 (Conditional Distribution) 描述了在已知 \( Y \) 的值的情况下 \( X \) 的概率分布。对于离散变量， 条件概率质量函数 (Conditional PMF) 为 \( p_{X|Y}(x|y) = P(X=x|Y=y) = \frac{p_{X,Y}(x,y)}{p_Y(y)} \)，前提是 \( p_Y(y) > 0 \)。
⚝ 期望 (Expectation)：随机变量 \( X \) 的期望 \( E[X] \) 是其可能值的加权平均，权重是对应的概率。
▮▮▮▮⚝ 离散变量：\( E[X] = \sum_x x p_X(x) \)
▮▮▮▮⚝ 连续变量：\( E[X] = \int_{-\infty}^{\infty} x f_X(x) dx \)
⚝ 方差 (Variance)：随机变量 \( X \) 的方差 \( Var(X) = E[(X - E[X])^2] \) 衡量了随机变量围绕其期望值的离散程度。
⚝ 独立性 (Independence)：随机变量 \( X \) 和 \( Y \) 是独立的，当且仅当它们的联合分布等于其边缘分布 (Marginal Distributions) 的乘积，即 \( p_{X,Y}(x,y) = p_X(x) p_Y(y) \) 对于所有 \( x, y \) 成立。独立性意味着一个变量的值不影响另一个变量的概率分布。
⚝ 随机过程 (Stochastic Processes)：一个随机过程是一系列按时间或其他索引参数排列的随机变量，通常记为 \( \{X_t, t \in T\} \)，其中 \( T \) 是索引集（例如，时间）。在信息论中，我们经常处理离散时间随机过程，如独立同分布 (Independent and Identically Distributed, i.i.d.) 序列或 马尔可夫链 (Markov Chains)。i.i.d. 序列是信息论中最基本的模型之一，许多定理都是基于 i.i.d. 假设推导的。
2.2 熵 (Entropy)、联合熵 (Joint Entropy) 与条件熵 (Conditional Entropy)
熵是信息论中衡量随机变量不确定性 (Uncertainty) 或信息量 (Information Content) 的基本度量。
⚝ 熵 (Entropy)：对于一个取值于有限集合 \( \mathcal{X} \) 的离散随机变量 \( X \)，其概率质量函数为 \( p(x) \)，其熵定义为：
\[ H(X) = - \sum_{x \in \mathcal{X}} p(x) \log_b p(x) \]
其中 \( b \) 是对数的底数，通常取 2（单位为 比特, bits）或 \( e \)（单位为 纳特, nats）。在信息论中，通常使用底数为 2 的对数。
熵 \( H(X) \) 具有以下性质：
▮▮▮▮⚝ 非负性：\( H(X) \ge 0 \)。
▮▮▮▮⚝ 确定性：如果 \( X \) 是一个确定性变量（即 \( p(x_0) = 1 \) 对于某个 \( x_0 \)），则 \( H(X) = 0 \)。
▮▮▮▮⚝ 最大熵：对于具有 \( |\mathcal{X}| \) 个可能取值的随机变量，当其概率分布为均匀分布时，熵达到最大值 \( \log_b |\mathcal{X}| \)。
⚝ 联合熵 (Joint Entropy)：对于两个离散随机变量 \( X \) 和 \( Y \) 及其联合概率质量函数 \( p(x,y) \)，它们的联合熵定义为：
\[ H(X, Y) = - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log p(x,y) \]
联合熵衡量了随机变量对 \( (X, Y) \) 的不确定性。
⚝ 条件熵 (Conditional Entropy)：给定随机变量 \( X=x \)，随机变量 \( Y \) 的条件熵定义为 \( H(Y|X=x) = - \sum_{y \in \mathcal{Y}} p(y|x) \log p(y|x) \)。 条件熵 \( H(Y|X) \) 是 \( H(Y|X=x) \) 关于 \( X \) 的期望：
\[ H(Y|X) = \sum_{x \in \mathcal{X}} p(x) H(Y|X=x) = - \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log p(y|x) \]
条件熵 \( H(Y|X) \) 衡量了在已知 \( X \) 的值之后，\( Y \) 剩余的不确定性。
⚝ 熵的链式法则 (Chain Rule for Entropy)：联合熵、熵和条件熵之间存在重要的关系：
\[ H(X, Y) = H(X) + H(Y|X) \]
这个法则可以推广到多个随机变量：
\[ H(X_1, X_2, \dots, X_n) = \sum_{i=1}^n H(X_i | X_1, \dots, X_{i-1}) \]
其中 \( H(X_1 | X_1, \dots, X_0) = H(X_1) \)。
2.3 互信息 (Mutual Information) 与条件互信息 (Conditional Mutual Information)
互信息是衡量两个随机变量之间相互依赖性或共享信息量的度量。
⚝ 互信息 (Mutual Information)：对于两个离散随机变量 \( X \) 和 \( Y \)，它们的互信息定义为：
\[ I(X; Y) = \sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} \]
互信息 \( I(X; Y) \) 可以理解为通过观察 \( Y \) 减少的关于 \( X \) 的不确定性，或者通过观察 \( X \) 减少的关于 \( Y \) 的不确定性。它与熵和条件熵的关系如下：
\[ I(X; Y) = H(X) - H(X|Y) \]
\[ I(X; Y) = H(Y) - H(Y|X) \]
\[ I(X; Y) = H(X) + H(Y) - H(X, Y) \]
互信息具有以下性质：
▮▮▮▮⚝ 非负性：\( I(X; Y) \ge 0 \)。当且仅当 \( X \) 和 \( Y \) 相互独立时，\( I(X; Y) = 0 \)。
▮▮▮▮⚝ 对称性：\( I(X; Y) = I(Y; X) \)。
⚝ 条件互信息 (Conditional Mutual Information)：给定随机变量 \( Z \)，随机变量 \( X \) 和 \( Y \) 的条件互信息定义为：
\[ I(X; Y|Z) = H(X|Z) - H(X|Y, Z) \]
它衡量了在已知 \( Z \) 的值的情况下，\( X \) 和 \( Y \) 之间共享的信息量。
条件互信息也满足链式法则：
\[ I(X_1, \dots, X_n; Y) = \sum_{i=1}^n I(X_i; Y | X_1, \dots, X_{i-1}) \]
这些信息度量之间的关系可以用一个 文氏图 (Venn Diagram) 来形象表示，尽管这只是一个类比，因为信息量不是集合。
\[ \begin{array}{c} H(X) \\ H(Y) \\ H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y) \\ I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) \\ I(X;Y) = H(X) + H(Y) - H(X,Y) \\ I(X;Y) \ge 0 \\ H(X|Y) \le H(X) \\ H(X,Y) \le H(X) + H(Y) \end{array} \]
2.4 数据压缩的极限：信源编码定理 (Limits of Data Compression: Source Coding Theorem)
信源编码 (Source Coding)，也称为数据压缩 (Data Compression)，旨在用尽可能少的比特来表示信息源输出的数据，同时保证一定的保真度 (Fidelity)。无损信源编码 (Lossless Source Coding) 要求能够完全恢复原始数据。信源编码定理给出了无损压缩的理论极限。
⚝ 信源模型 (Source Model)：通常假设信息源产生一个随机变量序列 \( X_1, X_2, \dots, X_n \)。最简单的模型是 独立同分布 (i.i.d.) 信源，即 \( X_i \) 相互独立且具有相同的概率分布 \( p(x) \)。
⚝ 信源编码器 (Source Encoder)：一个信源编码器是一个函数 \( f: \mathcal{X}^n \to \{0, 1\}^* \)，它将长度为 \( n \) 的源序列 \( (x_1, \dots, x_n) \) 映射到一个二进制串。
⚝ 信源解码器 (Source Decoder)：一个信源解码器是一个函数 \( g: \{0, 1\}^* \to \mathcal{X}^n \)，它将二进制串映射回源序列。对于无损编码，要求 \( g(f(x_1, \dots, x_n)) = (x_1, \dots, x_n) \) 对于所有可能的源序列成立。
⚝ 码长 (Codeword Length)：对于源序列 \( (x_1, \dots, x_n) \)，其编码后的码长为 \( l(x_1, \dots, x_n) \)。平均码长为 \( E[l(X_1, \dots, X_n)] \)。
⚝ 码率 (Rate)：对于长度为 \( n \) 的源序列，码率定义为平均码长除以 \( n \)，即 \( R = \frac{1}{n} E[l(X_1, \dots, X_n)] \)。我们希望找到一种编码方案，使得码率 \( R \) 尽可能小。
⚝ 信源编码定理 (Source Coding Theorem) (Shannon, 1948)：对于一个离散无记忆 (Discrete Memoryless Source, DMS) 信源（即 i.i.d. 信源），其输出随机变量为 \( X \)，熵为 \( H(X) \)。
① 对于任意小的 \( \epsilon > 0 \)，当 \( n \) 足够大时，存在一种无损编码方案，其平均码长 \( \bar{L}_n \) 满足 \( \frac{\bar{L}_n}{n} < H(X) + \epsilon \)。
② 对于任何无损编码方案，其平均码长 \( \bar{L}_n \) 必须满足 \( \frac{\bar{L}_n}{n} \ge H(X) \)。
这个定理表明，一个离散无记忆信源的熵 \( H(X) \) 是其无损压缩的理论极限，即最小的平均比特率。
这个定理的证明依赖于 典型性 (Typicality) 的概念，我们将在 2.6 节详细讨论。定理的意义在于，它量化了信息源的“信息量”，并给出了无损压缩的 fundamental 限制。
2.5 通信的极限：信道容量 (Channel Capacity) 与信道编码定理 (Channel Coding Theorem)
信道编码 (Channel Coding) 旨在通过在发送端引入冗余 (Redundancy) 来对抗信道中的噪声 (Noise) 或干扰 (Interference)，从而实现可靠通信。信道容量定理给出了在给定信道上可靠通信的理论最大速率。
⚝ 信道模型 (Channel Model)：一个离散无记忆信道 (Discrete Memoryless Channel, DMC) 可以由输入字母表 \( \mathcal{X} \)、输出字母表 \( \mathcal{Y} \) 以及一组转移概率 (Transition Probabilities) \( p(y|x) \) 来描述，其中 \( p(y|x) = P(Y=y|X=x) \) 是当输入为 \( x \) 时输出为 \( y \) 的概率。无记忆性意味着当前输出仅依赖于当前输入，与过去的输入输出无关。
⚝ 信道编码器 (Channel Encoder)：一个信道编码器是一个函数 \( f: \{1, \dots, M\} \to \mathcal{X}^n \)，它将 \( M \) 个可能的报文 (Message) 中的一个 \( m \) 映射为长度为 \( n \) 的码字 (Codeword) \( x^n = (x_1, \dots, x_n) \)。这里的 \( M \) 是报文的数量，通常取 \( M = 2^{nR} \)，其中 \( R \) 是码率 (Rate)，单位为 比特/信道使用 (bits per channel use)。
⚝ 信道解码器 (Channel Decoder)：一个信道解码器是一个函数 \( g: \mathcal{Y}^n \to \{1, \dots, M\} \)，它将接收到的长度为 \( n \) 的序列 \( y^n = (y_1, \dots, y_n) \) 映射回一个报文估计 \( \hat{m} \)。
⚝ 错误概率 (Probability of Error)：对于给定的编码方案，如果发送报文 \( m \)，接收端解码为 \( \hat{m} \ne m \)，则发生错误。平均错误概率 (Average Probability of Error) 定义为 \( P_e^{(n)} = \frac{1}{M} \sum_{m=1}^M P(\hat{m} \ne m | \text{发送报文 } m) \)。我们希望找到一种编码方案，使得在给定的码率下，当 \( n \) 足够大时，错误概率可以任意小。
⚝ 可达速率 (Achievable Rate)：如果对于任意小的 \( \epsilon > 0 \)，存在一个足够大的 \( n \) 和一个码率为 \( R \) 的 \( (n, M) \) 编码方案，使得平均错误概率 \( P_e^{(n)} < \epsilon \)，则称码率 \( R \) 是可达的。
⚝ 信道容量 (Channel Capacity)：信道容量 \( C \) 是所有可达码率的上确界 (Supremum)。它代表了在给定信道上可以实现任意低错误概率的最高通信速率。对于离散无记忆信道，信道容量由以下公式给出：
\[ C = \max_{p(x)} I(X; Y) \]
其中最大化是对所有可能的输入概率分布 \( p(x) \) 进行的。
⚝ 信道编码定理 (Channel Coding Theorem) (Shannon, 1948)：对于一个离散无记忆信道，其容量为 \( C \)。
① 对于任意小的 \( \epsilon > 0 \) 和任意码率 \( R < C \)，当 \( n \) 足够大时，存在一个码率为 \( R \) 的 \( (n, M) \) 编码方案，使得平均错误概率 \( P_e^{(n)} < \epsilon \)。
② 对于任意码率 \( R > C \)，对于任何 \( (n, M) \) 编码方案，平均错误概率 \( P_e^{(n)} \) 趋近于 1，当 \( n \to \infty \) 时。
这个定理是信息论中最 fundamental 的结果之一。它告诉我们，只要通信速率不超过信道容量，就可以通过使用足够长的码字来实现可靠通信。
定理的证明通常分为两部分：
▮▮▮▮ⓐ 可达性证明 (Achievability Proof)：证明对于任何 \( R < C \)，存在一种编码方案使得错误概率趋于零。这通常使用 随机编码 (Random Coding) 技术和 联合典型性解码 (Joint Typicality Decoding) 来证明。
▮▮▮▮ⓑ 逆定理证明 (Converse Proof)：证明对于任何 \( R > C \)，错误概率不可能趋于零。这通常使用 Fano 不等式 (Fano's Inequality) 来证明。
2.6 典型性 (Typicality) 与渐近等分性 (Asymptotic Equipartition Property, AEP)
典型性 (Typicality) 和 渐近等分性 (AEP) 是信息论中用于证明信源编码定理和信道编码定理的关键概念。它们描述了当序列长度 \( n \) 很大时，大多数随机序列表现出的统计规律性。
⚝ 渐近等分性 (Asymptotic Equipartition Property, AEP)：对于一个离散无记忆信源 \( X_1, X_2, \dots, X_n \) (i.i.d.)，其概率分布为 \( p(x) \)，熵为 \( H(X) \)。对于任意 \( \epsilon > 0 \)，当 \( n \to \infty \) 时，序列 \( (X_1, \dots, X_n) \) 的对数概率 \( \frac{1}{n} \log p(X_1, \dots, X_n) \) 以概率趋近于 \( -H(X) \)。
\[ -\frac{1}{n} \log p(X_1, \dots, X_n) \xrightarrow{P} H(X) \]
这意味着对于大多数长序列，其概率 \( p(x_1, \dots, x_n) \) 大约等于 \( 2^{-nH(X)} \)。
⚝ 典型序列 (Typical Sequences)：基于 AEP，我们定义 \( \epsilon \)-典型集 ( \( \epsilon \)-Typical Set) \( A_\epsilon^{(n)} \) 为满足以下条件的长度为 \( n \) 的序列 \( x^n = (x_1, \dots, x_n) \) 的集合：
\[ A_\epsilon^{(n)} = \{ x^n \in \mathcal{X}^n : |-\frac{1}{n} \log p(x^n) - H(X)| \le \epsilon \} \]
其中 \( p(x^n) = \prod_{i=1}^n p(x_i) \) 对于 i.i.d. 信源。
⚝ 典型集的性质 (Properties of Typical Set)：对于 i.i.d. 信源，当 \( n \) 足够大时，\( \epsilon \)-典型集具有以下重要性质：
① 典型序列的概率之和接近 1：\( P(A_\epsilon^{(n)}) > 1 - \epsilon \)。
② 典型集的尺寸 (Size) 大约是 \( 2^{nH(X)} \)：\( (1-\epsilon) 2^{n(H(X)-\epsilon)} \le |A_\epsilon^{(n)}| \le 2^{n(H(X)+\epsilon)} \)。更精确地说，\( \frac{1}{n} \log |A_\epsilon^{(n)}| \xrightarrow{P} H(X) \)。
③ 非典型序列 (Non-typical Sequences) 的数量相对于典型集来说非常少。
AEP 和典型集是理解香农定理证明的关键。
▮▮▮▮⚝ 在信源编码中，我们只需要对典型序列进行编码，因为非典型序列出现的概率非常小。典型集的尺寸大约是 \( 2^{nH(X)} \)，因此只需要 \( \log_2(2^{nH(X)}) = nH(X) \) 比特就可以唯一标识所有典型序列，这直接导出了信源编码定理。
▮▮▮▮⚝ 在信道编码中，我们使用 联合典型性 (Joint Typicality)。对于发送的码字 \( x^n \) 和接收到的序列 \( y^n \)，如果 \( (x^n, y^n) \) 是联合 \( \epsilon \)-典型的，则认为 \( y^n \) 是由 \( x^n \) 通过信道传输产生的。联合典型集的大小与 \( 2^{n H(X,Y)} \) 相关，而给定 \( x^n \) 后，联合典型序列 \( y^n \) 的数量大约是 \( 2^{n H(Y|X)} \)。这为设计解码器和分析错误概率提供了工具，并最终导出了信道容量公式 \( C = \max I(X;Y) \)。
理解典型性和 AEP 对于后续理解多用户信息论中的可达性证明（例如，多址接入信道中的联合典型性解码）至关重要。它们提供了一种强大的工具，将概率论中的大数定律 (Law of Large Numbers) 应用于信息论问题。
至此，我们回顾了单用户信息论中的核心概念和基本定理。这些知识将作为我们探索多用户信道理论的基础。在接下来的章节中，我们将看到这些基本原理如何在多用户场景中得到推广和应用，以及由此带来的新的挑战和理论成果。
3. chapter 3: 多址接入信道 (Multiple Access Channel, MAC)
欢迎来到本书关于多用户信道 (Multi-User Channels) 的第一个核心章节！在上一章中，我们回顾了单用户信息论 (Single-User Information Theory) 的基础概念，包括熵 (Entropy)、互信息 (Mutual Information)、信道容量 (Channel Capacity) 以及信源和信道编码定理 (Source and Channel Coding Theorems)。这些基础是理解多用户通信系统信息论极限的基石。在本章中，我们将深入探讨最基本也是最重要的多用户信道模型之一：多址接入信道 (Multiple Access Channel, MAC)。
多址接入信道是许多实际通信系统中的核心组成部分，例如蜂窝通信系统的上行链路（多个用户向基站发送数据）和无线局域网 (WLAN) 中的接入过程。理解 MAC 的信息论容量 (Information-Theoretic Capacity) 对于设计高效的多用户通信系统至关重要。我们将从 MAC 的基本模型定义出发，引入容量区域 (Capacity Region) 的概念，并通过严谨的证明来确定这个区域的边界。我们还将分析重要的特殊情况，如高斯 MAC (Gaussian MAC)，并简要探讨同步与异步 MAC (Synchronous and Asynchronous MAC) 的区别。
准备好了吗？让我们一起探索多址接入信道的奥秘！🚀
3.1 MAC 模型定义与示例 (MAC Model Definition and Examples)
多址接入信道 (Multiple Access Channel, MAC) 描述了多个独立的发送端 (Transmitters) 同时向一个共同的接收端 (Receiver) 发送信息的场景。每个发送端都有自己独立的消息需要传输。接收端接收到的是所有发送端信号的某种叠加或混合，并需要从中恢复出每个发送端发送的原始消息。
考虑一个具有 \(K\) 个发送端和一个接收端的 MAC。在离散无记忆 MAC (Discrete Memoryless MAC, DM-MAC) 模型中，在每个时间步 \(t\)，第 \(i\) 个发送端选择一个输入符号 \(X_{i,t}\) 来自其输入字母表 \(\mathcal{X}_i\)，其中 \(i = 1, \dots, K\)。信道根据联合输入 \((X_{1,t}, \dots, X_{K,t})\) 产生一个输出符号 \(Y_t\) 来自输出字母表 \(\mathcal{Y}\)，其转移概率 (Transition Probability) 由 \(p(y | x_1, \dots, x_K)\) 给出。由于信道是无记忆的 (Memoryless)，在不同时间步的转移是独立的。
数学上，一个 \(K\) 用户离散无记忆 MAC 由输入字母表集合 \(\{\mathcal{X}_1, \dots, \mathcal{X}_K\}\)、输出字母表 \(\mathcal{Y}\) 以及转移概率 \(p(y | x_1, \dots, x_K)\) 定义。在时间步 \(t\)，输入为 \((X_{1,t}, \dots, X_{K,t})\)，输出为 \(Y_t\)，且 \(p(y_t | x_{1,t}, \dots, x_{K,t})\) 仅依赖于当前的输入，与过去或未来的输入输出无关。
示例 3.1.1：加性噪声 MAC (Additive Noise MAC)
一个常见的 MAC 示例是加性噪声 MAC。假设有两个用户，输入为 \(X_1\) 和 \(X_2\)，信道输出为 \(Y = X_1 + X_2 + Z\)，其中 \(Z\) 是加性噪声。如果输入和输出是离散的，且噪声 \(Z\) 也是离散的，则这是一个离散加性噪声 MAC。其转移概率为 \(p(y | x_1, x_2) = p_Z(y - x_1 - x_2)\)，其中 \(p_Z(\cdot)\) 是噪声的概率质量函数 (Probability Mass Function, PMF)。
示例 3.1.2：蜂窝系统上行链路 (Cellular System Uplink)
在蜂窝通信系统中，多个移动用户（发送端）同时向一个基站（接收端）发送数据。每个用户的数据是独立的。基站接收到的信号是所有用户信号在无线信道中传输后叠加的结果，通常还伴随噪声和干扰。这可以建模为一个 MAC。
示例 3.1.3：无线局域网 (WLAN)
在 WLAN 中，多个设备（发送端）可能同时尝试向一个接入点 (Access Point, AP)（接收端）发送数据。虽然实际系统中通常采用媒体访问控制 (Media Access Control, MAC) 协议来协调用户的传输以避免冲突，但在信息论分析中，我们可以考虑在没有协调或部分协调的情况下，多个用户信号同时到达 AP 的场景，这本质上是一个 MAC 问题。
MAC 的核心挑战在于接收端需要区分并解码来自不同用户的信号，而这些信号在信道中是相互干扰的。与单用户信道不同，MAC 的性能不能简单地用一个容量值来衡量，而是需要用一个容量区域来描述，因为我们需要考虑不同用户速率组合的可行性。
3.2 MAC 容量区域 (MAC Capacity Region) 的概念
对于一个 \(K\) 用户 MAC，每个用户 \(i\) 以速率 \(R_i\) (比特/信道使用) 传输信息。一个速率元组 (Rate Tuple) \((R_1, \dots, R_K)\) 称为是可达的 (Achievable)，如果对于任意小的 \(\epsilon > 0\) 和任意大的 \(n\)，存在长度为 \(n\) 的编码方案 (Coding Scheme)，使得每个用户 \(i\) 可以可靠地传输 \(2^{nR_i}\) 个消息中的一个，且接收端能够以小于 \(\epsilon\) 的错误概率 (Probability of Error) 解码出所有用户的消息。
MAC 的容量区域 (Capacity Region) \(\mathcal{C}\) 定义为所有可达速率元组 \((R_1, \dots, R_K)\) 的闭包 (Closure)。它是 \(K\) 维空间中的一个区域。
对于离散无记忆 MAC \(p(y | x_1, \dots, x_K)\)，其容量区域 \(\mathcal{C}\) 由所有满足以下条件的非负速率元组 \((R_1, \dots, R_K)\) 组成：
\[ \sum_{i \in S} R_i \le I(X_S; Y | X_{S^c}) \]
对于所有非空子集 \(S \subseteq \{1, \dots, K\}\)，其中 \(X_S = \{X_i\}_{i \in S}\)，\(X_{S^c} = \{X_i\}_{i \notin S}\)，且联合概率分布 \(p(x_1, \dots, x_K, y)\) 满足 \(p(x_1, \dots, x_K, y) = p(x_1, \dots, x_K) p(y | x_1, \dots, x_K)\)。这里的 \(p(x_1, \dots, x_K)\) 是输入随机变量的联合概率分布，它必须是乘积分布 (Product Distribution)，即 \(p(x_1, \dots, x_K) = \prod_{i=1}^K p(x_i)\)，因为用户是独立的。
因此，MAC 容量区域的精确描述是所有满足以下条件的非负速率元组 \((R_1, \dots, R_K)\)：
\[ \sum_{i \in S} R_i \le I(X_S; Y | X_{S^c}) \quad \text{for all } S \subseteq \{1, \dots, K\}, S \neq \emptyset \]
对于某个乘积分布 \(p(x_1, \dots, x_K) = \prod_{i=1}^K p(x_i)\)。容量区域是所有这些满足条件的速率元组在所有可能的乘积分布 \(p(x_1), \dots, p(x_K)\) 下的并集 (Union) 的闭包。
对于 \(K=2\) 的情况，容量区域由所有满足以下条件的非负速率对 \((R_1, R_2)\) 组成：
\[ \begin{align*} R_1 &\le I(X_1; Y | X_2) \\ R_2 &\le I(X_2; Y | X_1) \\ R_1 + R_2 &\le I(X_1, X_2; Y) \end{align*} \]
对于某个乘积分布 \(p(x_1, x_2) = p(x_1) p(x_2)\)。
这些不等式的物理意义是什么呢？
⚝ \(R_1 \le I(X_1; Y | X_2)\)：这是用户 1 在假设用户 2 的信号 \(X_2\) 对接收端是已知的情况下，能够可靠传输的最大速率。这对应于一种理想情况，或者说，如果接收端能够“消除”掉用户 2 的干扰，用户 1 的速率极限。
⚝ \(R_2 \le I(X_2; Y | X_1)\)：同理，这是用户 2 在假设用户 1 的信号 \(X_1\) 对接收端已知情况下的速率极限。
⚝ \(R_1 + R_2 \le I(X_1, X_2; Y)\)：这是两个用户总共能够可靠传输的最大速率。\(I(X_1, X_2; Y)\) 代表了接收端从联合输入 \((X_1, X_2)\) 中获得的总信息量。这个约束是最重要的，它反映了信道的总“容量”。
容量区域通常是一个凸集 (Convex Set)。其边界由满足上述不等式等号的速率对构成。找到容量区域需要优化选择输入分布 \(p(x_1), \dots, p(x_K)\)。
3.3 可达性证明：联合典型性解码 (Achievability Proof: Joint Typicality Decoding)
证明 MAC 容量区域的可达性 (Achievability) 通常采用随机编码 (Random Coding) 和联合典型性解码 (Joint Typicality Decoding) 的方法。这与单用户信道编码定理的证明思路类似，但需要扩展到多用户场景。
考虑一个 \(K=2\) 的 MAC，转移概率为 \(p(y | x_1, x_2)\)。我们要证明满足速率条件 \(R_1 \le I(X_1; Y | X_2)\), \(R_2 \le I(X_2; Y | X_1)\), \(R_1 + R_2 \le I(X_1, X_2; Y)\) 的速率对 \((R_1, R_2)\) 是可达的，对于某个乘积分布 \(p(x_1) p(x_2)\)。
3.3.1 编码方案 (Encoding Scheme)
① 码本生成 (Codebook Generation):
▮▮▮▮ⓑ 用户 1 的码本 \(\mathcal{C}_1\) 包含 \(2^{nR_1}\) 个长度为 \(n\) 的码字 \(x_1^n(m_1)\)，其中 \(m_1 \in \{1, \dots, 2^{nR_1}\}\)。每个码字的元素 \(x_{1,t}\) 独立同分布 (Independent and Identically Distributed, i.i.d.) 地根据 \(p(x_1)\) 随机生成。
▮▮▮▮ⓒ 用户 2 的码本 \(\mathcal{C}_2\) 包含 \(2^{nR_2}\) 个长度为 \(n\) 的码字 \(x_2^n(m_2)\)，其中 \(m_2 \in \{1, \dots, 2^{nR_2}\}\)。每个码字的元素 \(x_{2,t}\) i.i.d. 地根据 \(p(x_2)\) 随机生成。
▮▮▮▮ⓓ 码本 \(\mathcal{C}_1\) 和 \(\mathcal{C}_2\) 是独立生成的。所有用户都知道这两个码本。
② 编码过程 (Encoding Procedure):
▮▮▮▮ⓑ 用户 1 要发送消息 \(m_1 \in \{1, \dots, 2^{nR_1}\}\)，它选择码本 \(\mathcal{C}_1\) 中的第 \(m_1\) 个码字 \(x_1^n(m_1)\) 进行传输。
▮▮▮▮ⓒ 用户 2 要发送消息 \(m_2 \in \{1, \dots, 2^{nR_2}\}\)，它选择码本 \(\mathcal{C}_2\) 中的第 \(m_2\) 个码字 \(x_2^n(m_2)\) 进行传输。
▮▮▮▮ⓓ 用户 1 和用户 2 同时在信道上发送各自的码字。
3.3.2 联合典型性解码器 (Joint Typicality Decoder)
接收端接收到长度为 \(n\) 的序列 \(y^n\)。解码器的任务是根据 \(y^n\) 确定用户 1 发送的消息 \(\hat{m}_1\) 和用户 2 发送的消息 \(\hat{m}_2\)。
① 解码规则 (Decoding Rule):
接收端查找一对消息 \((m_1, m_2)\) 使得码字对 \((x_1^n(m_1), x_2^n(m_2))\) 与接收到的序列 \(y^n\) 是联合典型 (Jointly Typical) 的。也就是说，解码器寻找唯一的 \((m_1, m_2))\) 满足 \((x_1^n(m_1), x_2^n(m_2), y^n) \in A_\epsilon^{(n)}\)，其中 \(A_\epsilon^{(n)}\) 表示关于联合分布 \(p(x_1, x_2, y) = p(x_1) p(x_2) p(y | x_1, x_2)\) 的 \(n\) 长度的 \(\epsilon\)-联合典型集 (\(\epsilon\)-Jointly Typical Set)。
② 输出 (Output):
如果找到唯一的一对 \((m_1, m_2))\) 满足联合典型性条件，则解码器输出 \(\hat{m}_1 = m_1\) 和 \(\hat{m}_2 = m_2\)。
如果找不到这样的对，或者找到多对，则解码器宣布发生错误。
3.3.3 错误概率分析 (Error Probability Analysis)
假设用户 1 发送消息 \(m_1^*\) 对应的码字 \(x_1^n(m_1^*)\)，用户 2 发送消息 \(m_2^*\) 对应的码字 \(x_2^n(m_2^*)\)。接收端接收到 \(y^n\)。解码错误发生当且仅当：
⚝ 事件 \(E_0\): \((x_1^n(m_1^*), x_2^n(m_2^*), y^n)\) 不是联合典型的。
⚝ 事件 \(E_1\): 存在 \((m_1, m_2)) \neq (m_1^*, m_2^*)\) 使得 \((x_1^n(m_1), x_2^n(m_2), y^n)\) 是联合典型的。
根据渐近等分性 (Asymptotic Equipartition Property, AEP) 的性质，对于足够大的 \(n\)，事件 \(E_0\) 的概率趋近于零。
主要的错误来源是事件 \(E_1\)，即一个或多个错误的 \((m_1, m_2))\) 对与接收到的 \(y^n\) 看起来是“一致的”（联合典型的）。我们将事件 \(E_1\) 分解为三个子事件：
▮▮▮▮⚝ \(E_{11}\): \(m_1 = m_1^*, m_2 \neq m_2^*\) 且 \((x_1^n(m_1^*), x_2^n(m_2), y^n) \in A_\epsilon^{(n)}\)。
▮▮▮▮⚝ \(E_{12}\): \(m_1 \neq m_1^*, m_2 = m_2^*\) 且 \((x_1^n(m_1), x_2^n(m_2^*), y^n) \in A_\epsilon^{(n)}\)。
▮▮▮▮⚝ \(E_{13}\): \(m_1 \neq m_1^*, m_2 \neq m_2^*\) 且 \((x_1^n(m_1), x_2^n(m_2), y^n) \in A_\epsilon^{(n)}\)。
利用联合典型集的性质和随机码本的平均错误概率分析，可以证明：
① \(P(E_{11})\) 趋近于零如果 \(R_2 < I(X_2; Y | X_1)\)。
② \(P(E_{12})\) 趋近于零如果 \(R_1 < I(X_1; Y | X_2)\)。
③ \(P(E_{13})\) 趋近于零如果 \(R_1 + R_2 < I(X_1, X_2; Y)\)。
更精确的分析表明，对于任意 \((m_1, m_2) \neq (m_1^*, m_2^*)\)，事件 \((x_1^n(m_1), x_2^n(m_2), y^n) \in A_\epsilon^{(n)}\) 的概率大约是 \(2^{-n I(X_1, X_2; Y)}\)。
对于 \(m_1 = m_1^*, m_2 \neq m_2^*\)，事件 \((x_1^n(m_1^*), x_2^n(m_2), y^n) \in A_\epsilon^{(n)}\) 的概率大约是 \(2^{-n I(X_2; Y | X_1)}\)。
对于 \(m_1 \neq m_1^*, m_2 = m_2^*\)，事件 \((x_1^n(m_1), x_2^n(m_2^*), y^n) \in A_\epsilon^{(n)}\) 的概率大约是 \(2^{-n I(X_1; Y | X_2)}\)。
通过对所有可能的错误对 \((m_1, m_2))\) 求和，并利用联合典型集的指数大小，可以证明当速率满足：
\[ \begin{align*} R_1 &< I(X_1; Y | X_2) \\ R_2 &< I(X_2; Y | X_1) \\ R_1 + R_2 &< I(X_1, X_2; Y) \end{align*} \]
时，平均错误概率可以任意小。通过取这些速率的闭包，我们就证明了 MAC 容量区域的可达性。
这个证明的关键在于，尽管用户信号在信道中混合，但由于它们是独立编码的，接收端可以通过寻找与接收序列“联合典型”的码字对来区分它们。联合典型性解码利用了高维空间中典型序列的集中现象。
3.4 容量区域的逆定理证明 (Converse Proof of the Capacity Region)
可达性证明告诉我们哪些速率是可以达到的。逆定理证明 (Converse Proof) 则告诉我们哪些速率是不可达的，从而确定了容量区域的上界。逆定理证明通常利用 Fano's inequality 和互信息的性质。
考虑一个 \(K=2\) 的 MAC，用户 1 以速率 \(R_1\) 传输消息 \(M_1\)，用户 2 以速率 \(R_2\) 传输消息 \(M_2\)。消息 \(M_1\) 和 \(M_2\) 是相互独立的，且均匀分布在 \(\{1, \dots, 2^{nR_1}\}\) 和 \(\{1, \dots, 2^{nR_2}\}\) 上。编码器将 \(M_1\) 映射到 \(X_1^n(M_1)\)，将 \(M_2\) 映射到 \(X_2^n(M_2)\)。接收端接收到 \(Y^n\) 并产生估计 \(\hat{M}_1\) 和 \(\hat{M}_2\)。
根据 Fano's inequality，如果平均错误概率 \(P_e^{(n)} = P((\hat{M}_1, \hat{M}_2) \neq (M_1, M_2))\) 趋近于零，则：
\[ H(M_1, M_2 | Y^n) \le n \epsilon_n \]
其中 \(\epsilon_n \to 0\) as \(n \to \infty\).
我们知道 \(H(M_1, M_2) = H(M_1) + H(M_2) = nR_1 + nR_2\)。
利用互信息的链式法则：
\[ I(M_1, M_2; Y^n) = H(M_1, M_2) - H(M_1, M_2 | Y^n) \ge nR_1 + nR_2 - n\epsilon_n \]
同时，根据定义：
\[ I(M_1, M_2; Y^n) = I(X_1^n(M_1), X_2^n(M_2); Y^n) \]
由于 \(M_1\) 和 \(M_2\) 独立决定了 \(X_1^n\) 和 \(X_2^n\)，且信道是无记忆的，我们可以写出：
\[ I(X_1^n, X_2^n; Y^n) = \sum_{t=1}^n I(X_{1,t}, X_{2,t}; Y_t | X_1^{t-1}, X_2^{t-1}, Y^{t-1}) \]
对于无记忆信道，\(p(y_t | x_{1,t}, x_{2,t}, x_1^{t-1}, x_2^{t-1}, y^{t-1}) = p(y_t | x_{1,t}, x_{2,t})\)。
利用条件互信息的性质 \(I(A; B|C) \le I(A; B|CD)\) 和 \(I(A; B|C) = H(A|C) - H(A|BC)\)，以及 \(I(A,B;C) = I(A;C) + I(B;C|A)\)，可以证明：
\[ I(X_1^n, X_2^n; Y^n) \le \sum_{t=1}^n I(X_{1,t}, X_{2,t}; Y_t) \]
这是因为 \(I(X_{1,t}, X_{2,t}; Y_t | X_1^{t-1}, X_2^{t-1}, Y^{t-1}) \le I(X_{1,t}, X_{2,t}; Y_t)\) 当 \(X_{1,t}, X_{2,t}\) 独立于 \(X_1^{t-1}, X_2^{t-1}, Y^{t-1}\) 给定 \(X_1^t, X_2^t\)。```
I(X_1^n, X_2^n; Y^n) = \sum_{t=1}^n I(X_{1,t}, X_{2,t}; Y_t | X_1^{t-1}, X_2^{t-1}, Y^{t-1})
1
Let LaTex→→→5c,28,55,5f,74,20,3d,20,28,58,5f,31,5e,7b,74,2d,31,7d,2c,20,58,5f,32,5e,7b,74,2d,31,7d,2c,20,59,5e,7b,74,2d,31,7d,29,5c,29←←←LaTex. Then
I(X_{1,t}, X_{2,t}; Y_t | U_t) = H(Y_t | U_t) - H(Y_t | X_{1,t}, X_{2,t}, U_t)
1
Since the channel is memoryless, \(H(Y_t | X_{1,t}, X_{2,t}, U_t) = H(Y_t | X_{1,t}, X_{2,t})\).
2
So,
I(X_{1,t}, X_{2,t}; Y_t | U_t) = H(Y_t | U_t) - H(Y_t | X_{1,t}, X_{2,t})
```
4. 广播信道 (Broadcast Channel, BC)
同学们，欢迎来到本书的第四章！在前几章中，我们回顾了单用户信息论的基础，并深入探讨了多址接入信道（MAC），即多个发送端向一个接收端发送信息的场景。现在，我们将视角转向另一种重要的多用户信道模型——广播信道（Broadcast Channel, BC）。
广播信道是通信系统中极为常见的一种模型，例如蜂窝网络中的基站向多个用户发送下行链路数据，或者无线局域网中的接入点向多个设备发送信息。与 MAC 不同，BC 的特点是一个发送端同时向多个接收端发送信息。这带来了新的挑战和信息论问题：发送端如何有效地分配其资源（如功率、带宽）来同时满足多个用户的通信需求？每个用户接收到的信号可能不同，且用户之间可能存在干扰（尽管干扰源是同一个发送端）。本章将系统地介绍 BC 的模型、容量区域的概念，并重点分析几种重要的 BC 类型及其对应的编码技术。
4.1 BC 模型定义与示例 (BC Model Definition and Examples)
广播信道（Broadcast Channel, BC）是一个由一个发送端（transmitter）和 \( K \) 个接收端（receivers）组成的通信模型。发送端有一个输入随机变量 \( X \)，它决定了发送的信号。每个接收端 \( k \) 都有一个输出随机变量 \( Y_k \)，表示该接收端接收到的信号。信道的特性由条件概率分布 \( p(y_1, y_2, \dots, y_K | x) \) 描述，它表示给定发送信号 \( x \) 时，所有接收端同时观察到输出 \( (y_1, y_2, \dots, y_K) \) 的概率。
\[ p(y_1, y_2, \dots, y_K | x) \]
在许多实际应用中，可以假设给定发送信号 \( x \) 后，不同接收端的噪声是独立的。在这种情况下，信道可以建模为：
\[ p(y_1, y_2, \dots, y_K | x) = \prod_{k=1}^K p(y_k | x) \]
这被称为无记忆离散时间广播信道（Discrete Memoryless Broadcast Channel, DM-BC）。本书主要关注这种模型，除非特别说明。
发送端希望同时向 \( K \) 个接收端发送 \( K \) 个独立的消息 \( M_1, M_2, \dots, M_K \)，其中消息 \( M_k \) 仅供接收端 \( k \) 解码。发送端根据所有消息 \( (M_1, \dots, M_K) \) 生成一个编码序列 \( x^n = (x_1, \dots, x_n) \)，通过信道发送。接收端 \( k \) 接收到序列 \( y_k^n = (y_{k,1}, \dots, y_{k,n}) \)，并尝试解码出其对应的消息 \( M_k \)。
示例 4.1.1：离散无记忆广播信道 📡
考虑一个具有两个接收端（用户 1 和用户 2）的离散无记忆广播信道。发送端输入字母表为 \( \mathcal{X} \)，接收端 1 输出字母表为 \( \mathcal{Y}_1 \)，接收端 2 输出字母表为 \( \mathcal{Y}_2 \)。信道由条件概率 \( p(y_1, y_2 | x) \) 描述。如果用户 1 和用户 2 的噪声是独立的，则 \( p(y_1, y_2 | x) = p(y_1 | x) p(y_2 | x) \)。
示例 4.1.2：高斯广播信道 📶
在高斯广播信道中，发送信号 \( X \) 是一个实数或复数，接收信号 \( Y_k \) 是发送信号加上独立的加性高斯白噪声（Additive White Gaussian Noise, AWGN）。对于 \( K \) 个用户，模型为：
\[ Y_k = X + Z_k, \quad k=1, \dots, K \]
其中 \( Z_k \sim \mathcal{N}(0, \sigma_k^2) \) 是用户 \( k \) 的噪声，且 \( Z_k \) 之间相互独立。发送端通常有功率约束，例如 \( E[X^2] \le P \)。这是研究 BC 容量区域时一个非常重要的模型。
BC 的核心挑战在于如何设计编码策略，使得发送端能够有效地利用信道资源，同时满足不同用户的需求。由于所有用户都接收到与 \( X \) 相关的信号，一个用户的信号可能会对另一个用户的解码产生干扰。
4.2 BC 容量区域 (BC Capacity Region) 的概念
对于多用户信道，我们通常关注的是容量区域（Capacity Region），而不是单一的容量值。容量区域是一个 \( K \) 维空间中的集合，包含了所有可达的速率向量 \( (R_1, R_2, \dots, R_K) \)。一个速率向量 \( (R_1, \dots, R_K) \) 是可达的，意味着对于任意小的 \( \epsilon > 0 \) 和任意大的 \( n \)，存在一个长度为 \( n \) 的编码方案，使得发送端可以以速率 \( R_k \) 发送消息 \( M_k \) 给用户 \( k \)，且所有用户都能以小于 \( \epsilon \) 的错误概率解码出各自的消息。
BC 的容量区域 \( \mathcal{C}_{BC} \) 是所有可达速率向量 \( (R_1, \dots, R_K) \) 的闭凸包（closure of the convex hull）。
与 MAC 容量区域不同，BC 容量区域的边界通常不是由简单的和速率约束 \( \sum R_k \le C \) 决定的。这是因为发送端只有一个，它发出的信号同时影响所有用户。发送端需要精心设计其发送信号 \( X \) 的分布以及编码方式，以便在不同用户之间进行有效的“广播”或“多播”。
确定任意离散无记忆广播信道的容量区域是一个非常困难的问题，至今没有一个通用的、简单的公式。然而，对于一些特殊类型的 BC，其容量区域已经被完全确定，这为我们理解 BC 的信息论极限提供了重要的洞察。接下来，我们将重点研究其中一种重要的特殊情况：退化广播信道。
4.3 退化广播信道 (Degraded Broadcast Channel)
退化广播信道（Degraded Broadcast Channel）是一种特殊的广播信道，其接收端可以按照信道质量进行排序。直观地说，如果用户 2 的信道是用户 1 信道的更“嘈杂”版本，那么这个 BC 就是退化的。
4.3.1 退化条件的定义 (Definition of Degraded Condition)
一个具有 \( K \) 个用户的离散无记忆广播信道 \( p(y_1, \dots, y_K | x) \) 被称为是物理退化（physically degraded）的，如果存在一种排序（不失一般性，假设为 \( 1, 2, \dots, K \)），使得对于所有的 \( x, y_1, \dots, y_K \)，信道概率满足：
\[ p(y_1, \dots, y_K | x) = p(y_1 | x) p(y_2 | y_1) \dots p(y_K | y_{K-1}) \]
这意味着 \( X \to Y_1 \to Y_2 \to \dots \to Y_K \) 构成一个马尔可夫链（Markov chain）。换句话说，给定 \( Y_{k-1} \)，\( Y_k \) 的分布与 \( X, Y_1, \dots, Y_{k-2} \) 无关。用户 \( k \) 的接收信号 \( Y_k \) 仅依赖于用户 \( k-1 \) 的接收信号 \( Y_{k-1} \) 和信道特性 \( p(y_k | y_{k-1}) \)。这表明用户 \( k \) 的信道比用户 \( k-1 \) 的信道“差”，因为 \( Y_k \) 是 \( Y_{k-1} \) 经过一个额外的噪声信道得到的。用户 1 拥有最好的信道，用户 \( K \) 拥有最差的信道。
即使信道不是物理退化的，如果存在一个辅助随机变量 \( \tilde{Y}_k \) 使得 \( X \to Y_1 \to \dots \to Y_K \) 构成马尔可夫链，并且 \( p(y_1, \dots, y_K | x) = p(y_1 | x) \prod_{k=2}^K p(y_k | y_{k-1}) \), 则称其为随机退化（stochastically degraded）。对于离散无记忆信道，物理退化和随机退化是等价的。
示例 4.3.1.1：两用户退化 BC 🤝
考虑一个两用户的离散无记忆 BC \( p(y_1, y_2 | x) \)。如果 \( X \to Y_1 \to Y_2 \) 构成马尔可夫链，即 \( p(y_1, y_2 | x) = p(y_1 | x) p(y_2 | y_1) \)，则用户 2 的信道比用户 1 退化。用户 1 是“好”用户，用户 2 是“差”用户。
4.3.2 容量区域与叠加编码 (Capacity Region and Superposition Coding)
对于一个 \( K \) 用户退化广播信道 \( X \to Y_1 \to \dots \to Y_K \)，其容量区域 \( \mathcal{C}_{deg-BC} \) 是所有满足以下条件的速率向量 \( (R_1, \dots, R_K) \) 的集合：
\[ R_k \le I(X; Y_k | Y_{k-1}, \dots, Y_1, U_k) \quad \text{for } k=1, \dots, K \]
\[ \sum_{i=k}^K R_i \le I(X; Y_k | Y_{k-1}, \dots, Y_1, U_k) + I(U_k; Y_k | Y_{k-1}, \dots, Y_1) \quad \text{for } k=1, \dots, K \]
\[ \dots \]
\[ \sum_{i=1}^K R_i \le I(X; Y_1) \]
这组不等式看起来比较复杂。对于两用户退化 BC \( X \to Y_1 \to Y_2 \) (用户 1 是好用户，用户 2 是差用户)，其容量区域 \( \mathcal{C}_{deg-BC} \) 是所有满足以下条件的速率对 \( (R_1, R_2) \) 的集合：
\[ R_2 \le I(U; Y_2) \]
\[ R_1 \le I(X; Y_1 | U) \]
对于某个联合分布 \( p(u, x, y_1, y_2) = p(u) p(x|u) p(y_1, y_2 | x) \)，其中 \( U \) 是一个辅助随机变量，且 \( U \to X \to (Y_1, Y_2) \) 构成马尔可夫链。辅助随机变量 \( U \) 的取值个数最多为 \( |\mathcal{X}| + 1 \)。
这个容量区域的可达性（achievability）证明通常采用叠加编码（Superposition Coding）技术。叠加编码是一种非常重要的多用户编码策略，特别适用于退化广播信道。
叠加编码原理 💡
叠加编码的核心思想是将发送信号 \( X \) 分解为两部分（对于两用户情况）：一部分用于传输给所有用户（特别是差用户），另一部分用于传输给好用户。
① 编码过程 (Encoding):
▮▮▮▮ⓑ 发送端为用户 2 (差用户) 的消息 \( M_2 \) 选择一个“公共码字” \( u^n(M_2) \)。
▮▮▮▮ⓒ 在给定 \( u^n(M_2) \) 的基础上，为用户 1 (好用户) 的消息 \( M_1 \) 选择一个“私有码字” \( x^n(M_1, M_2) \)。
▮▮▮▮ⓓ 实际发送的信号是 \( x^n(M_1, M_2) \)。
▮▮▮▮ⓔ 这里的 \( u^n \) 和 \( x^n \) 是根据联合典型性（joint typicality）或条件典型性（conditional typicality）随机生成的码本。具体来说，\( u^n \) 码本是根据 \( p(u) \) 独立生成的，而 \( x^n \) 码本是根据 \( p(x|u) \) 条件独立生成的。
② 解码过程 (Decoding):
▮▮▮▮ⓑ 用户 2 (差用户)：接收到 \( y_2^n \)。它首先尝试解码出公共消息 \( M_2 \)。它查找码本中与 \( y_2^n \) 联合典型的 \( u^n(m_2) \)。如果只找到一个这样的 \( m_2 \)，则解码成功。用户 2 只解码 \( M_2 \)，不关心 \( M_1 \)。
▮▮▮▮ⓒ 用户 1 (好用户)：接收到 \( y_1^n \)。它首先尝试解码出公共消息 \( M_2 \)。由于用户 1 的信道比用户 2 好，如果用户 2 能解码出 \( M_2 \)，用户 1 通常也能。用户 1 查找码本中与 \( y_1^n \) 联合典型的 \( u^n(m_2) \)。解码出 \( \hat{M}_2 \)。
▮▮▮▮ⓓ 在解码出 \( \hat{M}_2 \) 后，用户 1 知道对应的公共码字 \( u^n(\hat{M}_2) \)。然后，用户 1 在所有以 \( u^n(\hat{M}_2) \) 为条件的私有码字 \( x^n(m_1, \hat{M}_2) \) 中，查找与 \( y_1^n \) 联合典型的 \( x^n(m_1, \hat{M}_2) \)。如果只找到一个这样的 \( m_1 \)，则解码成功。
可达速率分析 📈
通过叠加编码，用户 2 可以以接近 \( I(U; Y_2) \) 的速率解码 \( U \) (对应于 \( M_2 \))。用户 1 在已知 \( U \) 的情况下，可以以接近 \( I(X; Y_1 | U) \) 的速率解码 \( X \) (对应于 \( M_1 \))。因此，速率对 \( (R_1, R_2) \) 满足 \( R_2 \le I(U; Y_2) \) 和 \( R_1 \le I(X; Y_1 | U) \) 是可达的。通过选择不同的辅助随机变量 \( U \) 和不同的 \( p(x|u) \) 分布，可以得到容量区域的边界。
逆定理（Converse）证明表明，任何可达速率对都必须满足这些条件。逆定理通常利用 Fano 不等式和信息不等式来证明。
叠加编码的直观解释是：发送端首先为差用户编码一个容易解码的信号（对应于 \( U \)），然后在这个信号上叠加一个更复杂的信号（对应于 \( X \)），这个叠加信号主要用于好用户。差用户只能解码出容易的部分，而好用户可以先解码容易的部分，然后利用已知信息（解码出的 \( U \)）来帮助解码更复杂的部分。
4.4 非退化广播信道 (Non-Degraded Broadcast Channel)
对于非退化广播信道（Non-Degraded Broadcast Channel），即用户信道之间不存在简单的马尔可夫链关系，其容量区域的确定通常要困难得多。叠加编码对于非退化信道通常不是最优的。
示例 4.4.1：两用户非退化 BC 🤔
考虑一个两用户的离散无记忆 BC \( p(y_1, y_2 | x) \) 使得 \( X \to Y_1 \to Y_2 \) 和 \( X \to Y_2 \to Y_1 \) 都不成立。例如，用户 1 的信道可能在某些输入下比用户 2 好，而在另一些输入下比用户 2 差。或者，两个用户的信道质量相似，但噪声特性不同。
对于一般的非退化 BC，目前没有一个普适的、简单的容量区域公式。这仍然是信息论研究中的一个活跃领域。然而，对于一些重要的特殊非退化 BC 模型，特别是高斯信道，其容量区域已经被确定，这得益于一种强大的编码技术——脏纸编码。
4.5 脏纸编码 (Dirty Paper Coding, DPC) 原理与应用
脏纸编码（Dirty Paper Coding, DPC）是由 Helmut Weingarten, Gadiel Kramer 和 Shlomo Shamai (Shitz) 在 2006 年证明可以达到高斯广播信道容量区域的一种编码技术，其思想源于 Costa 在 1983 年关于“已知干扰下的信道容量”（Writing on Dirty Paper）的工作。
“脏纸”问题 📄✍️
想象你要在一张已经有污渍（干扰）的纸上写信息。如果你不知道污渍的位置和形状，你写的信息可能会被污渍破坏。但如果你事先知道污渍在哪里，你就可以巧妙地调整你的书写，避开污渍或者利用污渍的形状，使得最终写出来的信息清晰可读。
Costa 的“脏纸”问题模型是一个发送端向一个接收端发送信息，但信道中存在一个接收端知道但发送端不知道的干扰。Costa 证明，如果发送端非因果地（non-causally）知道干扰，那么信道容量就如同干扰不存在一样！这非常反直觉，因为通常已知干扰只在接收端有用（用于消除干扰），而发送端知道干扰并不能增加容量。但 DPC 表明，发送端知道干扰可以用来预抵消（pre-cancel）干扰的影响。
DPC 在 BC 中的应用 📡➡️🧑1, 🧑2
在高斯广播信道中，发送端发送信号 \( X \) 给用户 1 和用户 2。用户 1 接收到 \( Y_1 = X + Z_1 \)，用户 2 接收到 \( Y_2 = X + Z_2 \)。从用户 1 的角度看，用户 2 的消息编码产生的信号是干扰；从用户 2 的角度看，用户 1 的消息编码产生的信号是干扰。发送端知道它要发送给用户 1 和用户 2 的所有消息，因此它知道将要产生的“干扰”。
DPC 的思想是，发送端在编码用户 1 的消息时，可以将其视为在已知用户 2 消息产生的信号“干扰”下进行编码。通过巧妙的预编码，发送端可以使得用户 1 的信号对用户 2 产生的干扰变得“无害”，或者反之。
对于高斯广播信道，DPC 结合叠加编码可以达到容量区域。具体来说，发送端可以先用 DPC 为“好”用户（信道增益高或噪声小的用户）编码，将“差”用户的信号视为已知干扰进行预抵消。然后，再为“差”用户编码，可能采用简单的叠加方式。
DPC 的原理简述 (数学上较复杂，此处仅作概念介绍)
DPC 的实现依赖于格雷码（lattice codes）或随机编码。其核心在于找到一个编码函数 \( f(m, d) \) 使得发送信号 \( X = f(M, D) \)，其中 \( M \) 是要发送的消息，\( D \) 是发送端已知的干扰。接收端收到 \( Y = X + D + Z \)。通过精心设计的 \( f \)，接收端可以在不知道 \( D \) 的情况下，以接近无干扰时的容量解码 \( M \)。
在高斯 BC 中，假设用户 1 是“好”用户，用户 2 是“差”用户。发送端要发送 \( M_1 \) 给用户 1，\( M_2 \) 给用户 2。发送端可以先用 DPC 为 \( M_1 \) 编码，将 \( M_2 \) 对应的信号视为干扰。或者，更常见的是，先用叠加编码为 \( M_2 \) 编码（作为公共信息或差用户私有信息），然后用 DPC 为 \( M_1 \) 编码，将 \( M_2 \) 的信号作为已知干扰。
DPC 的重要性在于它证明了在某些情况下，发送端对干扰的先验知识可以完全消除干扰对容量的影响。这对于理解多用户通信系统的极限性能至关重要。
4.6 高斯 BC (Gaussian BC)
高斯广播信道（Gaussian Broadcast Channel, GBC）是研究 BC 的一个重要模型，因为它既具有实际意义，又允许进行相对深入的数学分析。考虑一个具有 \( K \) 个用户的 AWGN BC：
\[ Y_k = X + Z_k, \quad k=1, \dots, K \]
其中 \( X \) 是发送信号，满足功率约束 \( E[|X|^2] \le P \)。\( Z_k \sim \mathcal{N}_c(0, \sigma_k^2) \) 是用户 \( k \) 的独立同分布复高斯噪声。
对于两用户高斯 BC，其容量区域已经被完全确定。假设用户 1 的信道比用户 2 好，即 \( \sigma_1^2 < \sigma_2^2 \)。这是一个退化高斯 BC。其容量区域可以通过叠加编码达到，边界由以下速率对 \( (R_1, R_2) \) 给出：
\[ R_2 \le \log_2 \left( 1 + \frac{\alpha P}{\sigma_2^2} \right) \]
\[ R_1 \le \log_2 \left( 1 + \frac{(1-\alpha) P}{\sigma_1^2 + \alpha P} \right) \]
对于所有 \( 0 \le \alpha \le 1 \)。这里的 \( \alpha P \) 是分配给用户 2 消息的功率，\( (1-\alpha) P \) 是分配给用户 1 消息的功率。叠加编码中，用户 2 解码一个功率为 \( \alpha P \) 的信号，用户 1 解码一个功率为 \( (1-\alpha) P \) 的信号，但用户 1 在解码时将用户 2 的信号视为已知（已解码并消除）。
如果 \( \sigma_1^2 > \sigma_2^2 \)，则用户 2 是好用户，用户 1 是差用户。容量区域公式类似，只是用户 1 和用户 2 的角色互换。
对于一般的（非退化）两用户高斯 BC，其容量区域是由 Costa-Cover 定理确定的，可以通过脏纸编码达到。容量区域的边界由以下速率对 \( (R_1, R_2) \) 的并集给出：
\[ R_1 \le \log_2 \left( 1 + \frac{P_1}{\sigma_1^2} \right) \]
\[ R_2 \le \log_2 \left( 1 + \frac{P_2}{\sigma_2^2} \right) \]
\[ R_1 + R_2 \le \log_2 \left( 1 + \frac{P}{\sigma_1^2 + \sigma_2^2} \right) \quad \text{(这不是容量区域的边界，只是一个简单的上界)} \]
更精确地，对于两用户高斯 BC，容量区域是所有满足以下条件的速率对 \( (R_1, R_2) \) 的集合：
\[ R_1 \le I(X; Y_1 | U) \]
\[ R_2 \le I(U; Y_2) \]
对于某个辅助随机变量 \( U \) 和联合分布 \( p(u) p(x|u) \)，其中 \( U \to X \to (Y_1, Y_2) \) 构成马尔可夫链，且 \( E[|X|^2] \le P \)。这里的 \( U \) 可以解释为发送给用户 2 的信号，而 \( X \) 是在 \( U \) 的基础上叠加发送给用户 1 的信号。通过选择 \( U \) 和 \( X \) 为高斯随机变量，并优化其协方差结构，可以达到容量区域。这正是 DPC 的核心思想在高斯信道上的体现。
对于 \( K > 2 \) 的高斯 BC，其容量区域的完全表征仍然是一个复杂的问题，但 DPC 及其扩展（如多层 DPC）被认为是达到容量区域的关键技术。
总结本章，我们学习了广播信道的模型定义，容量区域的概念，并重点探讨了退化广播信道及其叠加编码，以及非退化广播信道中的重要技术——脏纸编码，最后将这些概念应用于高斯广播信道。广播信道的研究是多用户信息论的基石之一，其理论成果对实际通信系统的设计具有重要的指导意义。
5. chapter 5： 干扰信道 (Interference Channel, IC)
干扰信道 (Interference Channel, IC) 是多用户信道理论中一个核心且极具挑战性的模型。与多址接入信道 (MAC) 和广播信道 (BC) 不同，IC 中存在多个独立的发送端和多个独立的接收端，每个发送端都希望向其对应的接收端发送信息，但每个接收端的接收信号都会受到来自其他发送端的干扰。这种“去中心化”的干扰结构使得 IC 的容量区域分析异常复杂，至今仍没有一个通用的封闭形式解。本章将深入探讨 IC 的模型、容量区域的复杂性、重要的可达区域以及在高斯信道下的特殊结果。
5.1 IC 模型定义与示例 (IC Model Definition and Examples)
一个基本的 \(K\) 用户干扰信道模型包含 \(K\) 对发送端-接收端。第 \(i\) 个发送端 \(Tx_i\) 希望向第 \(i\) 个接收端 \(Rx_i\) 发送消息 \(M_i\)。然而，\(Tx_i\) 发送的信号不仅到达 \(Rx_i\)，也会对其他接收端 \(Rx_j\) (\(j \neq i\)) 产生干扰；同时，\(Rx_i\) 接收到的信号除了来自 \(Tx_i\) 的期望信号外，还会受到来自所有其他发送端 \(Tx_j\) (\(j \neq i\)) 的干扰。
考虑最简单的 \(K=2\) 用户离散无记忆干扰信道 (Discrete Memoryless Interference Channel, DM-IC)。它由一组概率转移函数 \(p(y_1, y_2 | x_1, x_2)\) 定义，其中 \(x_1 \in \mathcal{X}_1\) 和 \(x_2 \in \mathcal{X}_2\) 分别是发送端 1 和发送端 2 的输入符号，\(y_1 \in \mathcal{Y}_1\) 和 \(y_2 \in \mathcal{Y}_2\) 分别是接收端 1 和接收端 2 的输出符号。在无记忆假设下，对于长度为 \(n\) 的码字 \((x_1^n, x_2^n)\)，接收到的序列 \((y_1^n, y_2^n)\) 的概率为：
\[ p(y_1^n, y_2^n | x_1^n, x_2^n) = \prod_{i=1}^n p(y_{1,i}, y_{2,i} | x_{1,i}, x_{2,i}) \]
每个发送端 \(Tx_i\) 独立地选择其码字 \(x_i^n\) 来编码消息 \(M_i\)，消息 \(M_i\) 从集合 \(\{1, \dots, 2^{nR_i}\}\) 中均匀随机选取，其中 \(R_i\) 是第 \(i\) 个用户的传输速率。接收端 \(Rx_i\) 接收到 \((y_1^n, y_2^n)\) 后，尝试解码出 \(M_i\)。
一个 \((2^{nR_1}, 2^{nR_2}, n)\) 码由以下组成：
① 两个编码器：\(E_1: \{1, \dots, 2^{nR_1}\} \to \mathcal{X}_1^n\) 和 \(E_2: \{1, \dots, 2^{nR_2}\} \to \mathcal{X}_2^n\)。
② 两个解码器：\(D_1: \mathcal{Y}_1^n \times \mathcal{Y}_2^n \to \{1, \dots, 2^{nR_1}\} \cup \{\text{error}\}\) 和 \(D_2: \mathcal{Y}_1^n \times \mathcal{Y}_2^n \to \{1, \dots, 2^{nR_2}\} \cup \{\text{error}\}\)。注意，在标准的 IC 模型中，\(Rx_i\) 只尝试解码 \(M_i\)，即 \(D_i: \mathcal{Y}_i^n \to \{1, \dots, 2^{nR_i}\} \cup \{\text{error}\}\)。这里我们采用更一般的定义，但通常 \(D_i\) 仅依赖于 \(y_i^n\)。
如果对于任意小的 \(\epsilon > 0\)，存在足够大的 \(n\) 和一个 \((2^{nR_1}, 2^{nR_2}, n)\) 码，使得平均错误概率 \(P_e^{(n)}\) 趋近于 0，则速率对 \((R_1, R_2)\) 是可达的。干扰信道的容量区域 (Capacity Region) 是所有可达速率对 \((R_1, R_2)\) 的集合的闭包。
示例：高斯干扰信道 (Gaussian Interference Channel, G-IC)
最常见的 IC 模型是高斯干扰信道。对于 \(K=2\) 用户，其输入-输出关系可以表示为：
\[ Y_1 = h_{11} X_1 + h_{12} X_2 + Z_1 \]
\[ Y_2 = h_{21} X_1 + h_{22} X_2 + Z_2 \]
其中 \(X_i\) 是发送端 \(i\) 的发送信号，\(Y_i\) 是接收端 \(i\) 的接收信号，\(Z_i\) 是接收端 \(i\) 的加性高斯白噪声 (Additive White Gaussian Noise, AWGN)，\(Z_1 \sim \mathcal{N}(0, N_1)\)，\(Z_2 \sim \mathcal{N}(0, N_2)\)，且 \(Z_1, Z_2\) 相互独立。\(h_{ij}\) 是从发送端 \(j\) 到接收端 \(i\) 的信道增益（通常是复数）。发送端 \(i\) 的发送功率限制为 \(E[|X_i|^2] \le P_i\)。
在这个模型中，\(h_{12} X_2\) 是对 \(Rx_1\) 的干扰，\(h_{21} X_1\) 是对 \(Rx_2\) 的干扰。信道增益 \(h_{ij}\) 的相对大小决定了干扰的强度。例如，如果 \(|h_{12}|\) 相对于 \(|h_{11}|\) 很小，则 \(Tx_2\) 对 \(Rx_1\) 的干扰较弱。
5.2 IC 容量区域的复杂性与挑战 (Complexity and Challenges of IC Capacity Region)
确定干扰信道的容量区域是一个长期存在的开放问题，其复杂性主要源于以下几个方面：
① 去中心化决策 (Decentralized Decisions)：每个发送端独立地选择其编码策略，不知道其他发送端的消息或编码方式。每个接收端也独立地进行解码，通常只关心自己的消息。这种缺乏协作的特性使得联合优化变得困难。
② 干扰的性质 (Nature of Interference)：干扰既可以被视为噪声来处理（忽略它），也可以被视为需要部分或完全消除的信号。如何有效地处理干扰取决于其强度以及信道的具体结构。在 MAC 中，所有信号汇聚到同一个接收端，接收端可以通过联合处理（如联合典型性解码）来利用或消除干扰。在 BC 中，一个发送端知道所有消息，可以通过叠加编码等技术来管理干扰。但在 IC 中，发送端和接收端都是分散的，没有一个中心节点拥有全局信息。
③ 边界的形状 (Shape of the Boundary)：IC 的容量区域边界通常不是简单的直线段，而是由多个不同的可达区域的并集或凸包构成。不同的编码和解码策略（如将干扰视为噪声、部分解码干扰、完全解码干扰等）在不同的速率区域可能最优。
④ 缺乏通用的编码定理 (Lack of a General Coding Theorem)：对于 MAC 和 BC，我们有相对通用的容量区域公式（例如 MAC 的多址信道容量区域由多个互信息之和的边界定义，退化 BC 的容量区域由叠加编码的可达性给出）。但对于一般的 IC，没有一个单一的公式能够描述其容量区域。已知的容量区域结果仅限于一些特殊情况，例如：
⚝ 强干扰信道 (Strong Interference Channel)：如果 \(|h_{11}| \ge |h_{21}|\) 且 \(|h_{22}| \ge |h_{12}|\)，则容量区域已知。
⚝ 非常强干扰信道 (Very Strong Interference Channel)：如果 \(|h_{11}| \ge |h_{21}| + |h_{12}|\) 且 \(|h_{22}| \ge |h_{12}| + |h_{21}|\)，则容量区域已知。
⚝ 准静态信道 (Cognitive Radio Channel) 的某些变体可以视为特殊的 IC。
⑤ 可达性和逆定理的差距 (Gap between Achievability and Converse)：对于许多 IC 模型，我们只能找到一个可达区域 (Achievable Region)，即证明某些速率对是可行的，但无法证明存在比这个区域更大的区域是不可达的（即逆定理，Converse）。Han-Kobayashi 可达区域是目前已知最一般的可达区域之一，但它通常不等于容量区域。
这些挑战使得 IC 的研究成为信息论领域最活跃和困难的方向之一。研究人员通常通过分析特殊情况、寻找可达区域、推导容量界限以及分析高信噪比下的自由度等方法来逼近 IC 的容量。
5.3 自由度 (Degrees of Freedom, DoF) 分析
由于精确确定 IC 的容量区域非常困难，研究人员常常关注在高信噪比 (High Signal-to-Noise Ratio, SNR) 下的渐近行为。自由度 (Degrees of Freedom, DoF) 是衡量信道在高 SNR 下传输速率增长斜率的一个重要指标。对于 \(K\) 用户 IC，DoF 定义为：
\[ DoF = \lim_{SNR \to \infty} \frac{C(SNR)}{\frac{1}{2} \log_2(SNR)} \]
其中 \(C(SNR)\) 是总容量（所有用户速率之和的最大值）在高 SNR 下的渐近值，\(SNR\) 通常与发送功率 \(P_i\) 成正比。对于单用户 AWGN 信道，容量是 \(\frac{1}{2} \log_2(1 + SNR)\)，其 DoF 为 1。对于 \(K\) 用户 MAC 或 BC，总容量在高 SNR 下的渐近值是 \(K \times \frac{1}{2} \log_2(SNR)\)，因此其 DoF 为 \(K\)。这意味着在没有干扰的情况下，每个用户都可以获得一个“自由度”。
然而，在 IC 中，干扰的存在会减少可用的自由度。对于 \(K=2\) 用户高斯 IC：
\[ Y_1 = h_{11} X_1 + h_{12} X_2 + Z_1 \]
\[ Y_2 = h_{21} X_1 + h_{22} X_2 + Z_2 \]
假设 \(|h_{11}|, |h_{12}|, |h_{21}|, |h_{22}|\) 都是非零的。在高 SNR 下，噪声项 \(Z_1, Z_2\) 可以忽略，主要限制来自干扰项 \(h_{12} X_2\) 和 \(h_{21} X_1\)。
直观上，如果 \(Tx_1\) 和 \(Tx_2\) 都以全功率发送，\(Rx_1\) 收到 \(h_{11} X_1 + h_{12} X_2\)，\(Rx_2\) 收到 \(h_{21} X_1 + h_{22} X_2\)。如果 \(Rx_1\) 无法消除 \(h_{12} X_2\) 的干扰，它能可靠解码 \(X_1\) 的速率会受到限制。同样，如果 \(Rx_2\) 无法消除 \(h_{21} X_1\) 的干扰，它能可靠解码 \(X_2\) 的速率也会受到限制。
对于一般的 \(K=2\) 用户高斯 IC，其总自由度 \(DoF_{sum} = DoF_1 + DoF_2\) 的最大值是 1。这意味着在高 SNR 下，两个用户总共只能获得相当于一个无干扰用户的容量增长。这是因为如果两个用户都试图以接近 1 的 DoF 发送，它们之间的干扰会变得非常强，使得任何一个接收端都无法区分期望信号和干扰信号。
\[ DoF_{sum} \le 1 \]
然而，通过复杂的编码和协作技术（例如，如果发送端或接收端之间可以协作，或者利用信道状态信息），可以提高 DoF。例如，如果发送端知道信道状态信息 (Channel State Information, CSI)，它们可以进行干扰对齐 (Interference Alignment, IA) 等技术，使得干扰信号在接收端以特定的方式“对齐”，从而为期望信号腾出空间。在某些条件下，通过 IA，\(K\) 用户 IC 的总 DoF 可以达到 \(K/2\)。
DoF 分析提供了一种在高 SNR 下评估不同传输策略性能的简化方法，它抓住了干扰信道容量的一个重要渐近特性。
5.4 Han-Kobayashi 可达区域 (Han-Kobayashi Achievable Region)
Han-Kobayashi 可达区域是目前已知对于离散无记忆干扰信道最一般的可达区域。它由 Han 和 Kobayashi 在 1981 年提出，通过结合多种编码和解码策略来构建。其核心思想是将每个用户的消息分割成两部分：一部分是私有消息 (Private Message)，只发送给对应的接收端；另一部分是公共消息 (Common Message)，可以被两个接收端同时解码。
具体来说，对于用户 1 的消息 \(M_1\)，将其分割为公共消息 \(M_{1c}\) 和私有消息 \(M_{1p}\)。类似地，用户 2 的消息 \(M_2\) 分割为 \(M_{2c}\) 和 \(M_{2p}\)。发送端 1 编码 \((M_{1c}, M_{1p})\)，发送端 2 编码 \((M_{2c}, M_{2p})\)。
编码策略：
① 发送端 1 根据 \((M_{1c}, M_{1p})\) 选择码字 \(X_1^n\)。
② 发送端 2 根据 \((M_{2c}, M_{2p})\) 选择码字 \(X_2^n\)。
编码可以使用叠加编码 (Superposition Coding) 的思想。例如，\(X_1\) 可以是编码 \(M_{1c}\) 的码字和编码 \(M_{1p}\) 的码字的叠加。
解码策略：
① 接收端 1 接收到 \(Y_1^n\)。它首先尝试解码公共消息 \(M_{1c}\) 和 \(M_{2c}\)。由于公共消息是设计成可以被两个接收端解码的，\(Rx_1\) 可以将 \(X_2\) 的公共部分视为需要解码的信号，将其私有部分视为干扰。解码出 \(M_{1c}\) 和 \(M_{2c}\) 后，\(Rx_1\) 可以从 \(Y_1^n\) 中消除（或部分消除）与 \(M_{2c}\) 相关的干扰，然后解码自己的私有消息 \(M_{1p}\)。
② 接收端 2 接收到 \(Y_2^n\)。类似地，它尝试解码 \(M_{1c}\) 和 \(M_{2c}\)，然后利用这些信息解码自己的私有消息 \(M_{2p}\)。
Han-Kobayashi 可达区域的速率对 \((R_1, R_2)\) 满足以下条件（对于某个联合分布 \(p(x_1, x_2, u_1, u_2)\)）：
\[ R_1 \le I(U_1, X_1; Y_1 | U_2, X_2) \]
\[ R_2 \le I(U_2, X_2; Y_2 | U_1, X_1) \]
\[ R_1 + R_2 \le I(U_1, X_1; Y_1 | U_2) + I(U_2, X_2; Y_2 | U_1) \]
\[ R_1 + R_2 \le I(U_1, X_1; Y_1) + I(U_2, X_2; Y_2) - I(U_1, X_1; U_2, X_2) \]
以及其他一些边界，其中 \(U_1\) 和 \(U_2\) 是辅助随机变量，与 \(X_1, X_2\) 共同决定了编码策略，可以理解为分别承载了用户 1 和用户 2 的公共消息信息。\(U_1\) 依赖于 \(M_{1c}\)，\(U_2\) 依赖于 \(M_{2c}\)。\(X_1\) 依赖于 \((M_{1c}, M_{1p})\)，\(X_2\) 依赖于 \((M_{2c}, M_{2p})\)。
Han-Kobayashi 可达区域是所有满足这些不等式的 \((R_1, R_2)\) 对的并集，通过优化辅助随机变量的分布和与输入变量的关系来获得。尽管这个区域非常复杂，并且通常不等于容量区域，但它包含了许多已知的可达区域作为特例，并且在许多情况下给出了容量区域的紧密界限。它是研究一般 IC 容量的重要工具。
5.5 高斯 IC (Gaussian IC) 的特殊结果
对于高斯干扰信道，尽管通用容量区域未知，但在某些特殊情况下或通过分析 DoF 可以得到一些重要的结果。
① 强干扰 (Strong Interference)：当干扰信号强度大于期望信号强度时，即 \(|h_{11}|^2 \ge |h_{21}|^2\) 且 \(|h_{22}|^2 \ge |h_{12}|^2\)，容量区域是已知的。在这种情况下，每个接收端都可以解码出对方的信号（因为对方信号对它而言是“强”的），然后将其消除，从而无干扰地解码自己的信号。容量区域由以下不等式定义：
\[ R_1 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{11}|^2 P_1}{|h_{12}|^2 P_2 + N_1} \right) \]
\[ R_2 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{22}|^2 P_2}{|h_{21}|^2 P_1 + N_2} \right) \]
\[ R_1 + R_2 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{11}|^2 P_1 + |h_{12}|^2 P_2}{N_1} \right) \]
\[ R_1 + R_2 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{21}|^2 P_1 + |h_{22}|^2 P_2}{N_2} \right) \]
\[ R_1 + R_2 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{11}|^2 P_1}{|h_{12}|^2 P_2 + N_1} \right) + \frac{1}{2} \log_2 \left( 1 + \frac{|h_{22}|^2 P_2}{|h_{21}|^2 P_1 + N_2} \right) \]
\[ R_1 + R_2 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{11}|^2 P_1 + |h_{12}|^2 P_2}{N_1} \right) + \frac{1}{2} \log_2 \left( 1 + \frac{|h_{22}|^2 P_2 + |h_{21}|^2 P_1}{N_2} \right) - \frac{1}{2} \log_2 \left( 1 + \frac{|h_{12}|^2 P_2}{N_1} \right) - \frac{1}{2} \log_2 \left( 1 + \frac{|h_{21}|^2 P_1}{N_2} \right) \]
实际上，对于强干扰，容量区域由以下不等式定义：
\[ R_1 \le I(X_1; Y_1 | X_2) \]
\[ R_2 \le I(X_2; Y_2 | X_1) \]
\[ R_1 + R_2 \le I(X_1, X_2; Y_1) \]
\[ R_1 + R_2 \le I(X_1, X_2; Y_2) \]
\[ R_1 + R_2 \le I(X_1; Y_1 | X_2) + I(X_2; Y_2 | X_1) \]
在高斯信道下，假设 \(X_1 \sim \mathcal{N}(0, P_1)\), \(X_2 \sim \mathcal{N}(0, P_2)\) 且独立，这些互信息项可以计算出来。
② 非常强干扰 (Very Strong Interference)：当干扰信号强度加上噪声功率小于期望信号强度时，即 \(|h_{11}|^2 P_1 \ge |h_{21}|^2 P_1 + |h_{12}|^2 P_2 + N_1\) 且 \(|h_{22}|^2 P_2 \ge |h_{12}|^2 P_2 + |h_{21}|^2 P_1 + N_2\)，容量区域也是已知的。这是一种比强干扰更极端的情况，同样可以通过解码并消除干扰来实现容量。
③ 弱干扰 (Weak Interference)：当干扰信号强度远小于期望信号强度时，即 \(|h_{12}|^2 \ll |h_{11}|^2\) 且 \(|h_{21}|^2 \ll |h_{22}|^2\)，一个简单的策略是将干扰视为额外的噪声。此时，每个用户可以近似地达到单用户信道的容量。容量区域近似为：
\[ R_1 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{11}|^2 P_1}{|h_{12}|^2 P_2 + N_1} \right) \]
\[ R_2 \le \frac{1}{2} \log_2 \left( 1 + \frac{|h_{22}|^2 P_2}{|h_{21}|^2 P_1 + N_2} \right) \]
这个区域是可达的，但通常不是容量区域，尤其是在中等干扰强度下。
④ 干扰对齐 (Interference Alignment, IA)：在高 SNR 下，如果信道系数 \(h_{ij}\) 随时间或频率变化（即信道有多维结构，如多天线 MIMO IC 或宽带 IC），可以通过 IA 技术使得干扰信号在接收端的向量空间中对齐，从而为期望信号释放出维度。对于 \(K\) 用户 MIMO IC，如果每个发送端和接收端都有 \(M\) 根天线，通过 IA，总 DoF 可以达到 \(KM/2\)。这是 IC 理论在高 SNR 下的一个重要突破。
⑤ 对称 IC (Symmetric IC)：当信道参数对称时 (\(|h_{11}| = |h_{22}|\), \(|h_{12}| = |h_{21}|\), \(P_1 = P_2\), \(N_1 = N_2\))，容量区域通常也是对称的 (\(R_1 = R_2\))。研究对称 IC 可以简化问题，并为非对称情况提供洞察。
总而言之，高斯 IC 的容量区域取决于干扰强度。只有在强干扰或非常强干扰等特殊情况下容量区域才完全已知。对于一般的高斯 IC，Han-Kobayashi 可达区域提供了一个重要的下界，而 DoF 分析则揭示了其在高 SNR 下的渐近行为，特别是 IA 技术在高维信道中提升 DoF 的潜力。
6. 中继信道 (Relay Channel)
中继信道（Relay Channel）是多用户信道理论中的一个重要模型，它描述了一个源节点（Source）希望将信息传输给一个目的节点（Destination），但传输过程中存在一个或多个中继节点（Relay）可以协助传输的场景。这种模型广泛存在于无线通信网络中，例如蜂窝网络中的基站与用户终端之间的中继、无线传感器网络中的数据转发等。引入中继可以有效克服信号衰落、增加覆盖范围、提高系统吞吐量和可靠性。本章将深入探讨中继信道的模型、容量界以及几种重要的可达传输方案。
6.1 中继信道模型定义与分类 (Relay Channel Model Definition and Classification)
一个基本的中继信道模型通常包含三个节点：一个源节点 \(S\)，一个目的节点 \(D\)，以及一个中继节点 \(R\)。源节点 \(S\) 有一个消息 \(W\) 需要发送给目的节点 \(D\)。中继节点 \(R\) 可以接收来自源节点 \(S\) 的信号，并根据其接收到的信息采取某种策略协助源节点将消息传输给目的节点。目的节点 \(D\) 同时接收来自源节点 \(S\) 和中继节点 \(R\) 的信号。
在离散无记忆中继信道（Discrete Memoryless Relay Channel, DMRC）中，信道由一个转移概率分布 \(p(y_d, y_r | x_s, x_r)\) 描述，其中：
⚝ \(x_s\) 是源节点在某个时刻发送的符号。
⚝ \(x_r\) 是中继节点在同一时刻发送的符号。
⚝ \(y_d\) 是目的节点在同一时刻接收到的符号。
⚝ \(y_r\) 是中继节点在同一时刻接收到的符号。
源节点 \(S\) 的编码器将消息 \(W \in \{1, \dots, M\}\) 映射为一个长度为 \(n\) 的码字 \((x_s[1], \dots, x_s[n])\)。
中继节点 \(R\) 的处理方式取决于其接收到的信号。对于一个因果中继（causal relay），中继在时刻 \(i\) 发送的符号 \(x_r[i]\) 只能依赖于其在时刻 \(1, \dots, i\) 接收到的信号 \((y_r[1], \dots, y_r[i])\)。即 \(x_r[i] = f_i(y_r[1], \dots, y_r[i])\)。
目的节点 \(D\) 的解码器在接收到序列 \((y_d[1], \dots, y_d[n])\) 和 \((y_r[1], \dots, y_r[n])\)（如果中继的发送信号对目的节点可见，或者中继的接收信号被转发给目的节点）后，估计出原始消息 \(\hat{W}\)。通常情况下，目的节点只接收来自 \(S\) 和 \(R\) 的信号，即 \((y_d[1], \dots, y_d[n])\)。
中继信道可以根据中继节点的工作方式进行分类：
① 半双工中继 (Half-Duplex Relay)：这是实际系统中更常见的模型。半双工中继不能同时发送和接收信号。在一个时隙内，中继要么接收来自源节点的信号，要么发送信号（可能是转发源节点的信号或自身处理后的信号）。这通常需要将传输过程分为两个阶段或使用不同的频段/时隙。
② 全双工中继 (Full-Duplex Relay)：理论上，全双工中继可以同时接收来自源节点的信号并向目的节点发送信号。这在分析中可以简化模型，但实际实现中存在自干扰（self-interference）问题，即中继自身的发送信号会干扰其接收。
根据中继对接收信号的处理方式，中继策略可以分为多种：
⚝ 解码转发 (Decode-and-Forward, DF)：中继尝试完全解码源节点的消息。如果解码成功，中继将重新编码该消息并转发给目的节点。
⚝ 放大转发 (Amplify-and-Forward, AF)：中继直接放大接收到的模拟信号（或数字信号的幅度）并转发。这种方式实现简单，但会同时放大噪声。
⚝ 压缩转发 (Compress-and-Forward, CF)：中继不尝试解码消息，而是将接收到的信号进行压缩，并将压缩后的信息发送给目的节点。目的节点利用其直接接收到的信号和中继转发的压缩信息联合解码源消息。
⚝ 协作中继 (Cooperative Relaying)：多个中继节点协同工作，共同协助源节点传输信息。
本章将重点介绍 DF、AF 和 CF 这三种基本且重要的中继策略，并分析它们的可达速率。
6.2 割集界 (Cut-Set Bound)
割集界（Cut-Set Bound）是网络信息论中一个重要的工具，用于给出多终端网络容量的上界。对于一个具有多个源、多个目的和多个中继节点的通用网络，割集界是通过考虑网络中任意一个“割”（cut）来确定的。一个割将网络节点集合 \(\mathcal{V}\) 分为两个不相交的集合 \(\mathcal{A}\) 和 \(\mathcal{A}^c\)，其中源节点属于 \(\mathcal{A}\)，目的节点属于 \(\mathcal{A}^c\)。割集界表明，从 \(\mathcal{A}\) 到 \(\mathcal{A}^c\) 传输的总信息速率不能超过连接这两个集合的信道容量。
对于基本的中继信道 \(S \to R \to D\)，我们可以考虑不同的割。源节点 \(S\) 属于集合 \(\mathcal{A}\)，目的节点 \(D\) 属于集合 \(\mathcal{A}^c\)。中继节点 \(R\) 可以属于 \(\mathcal{A}\) 或 \(\mathcal{A}^c\)。
考虑以下两种重要的割：
① 割 1：\(\mathcal{A} = \{S\}\)，\(\mathcal{A}^c = \{R, D\}\)
这个割将源节点与中继和目的节点分开。信息必须从 \(S\) 流向 \(\{R, D\}\)。源节点 \(S\) 的发送信号是 \(X_s\)。中继接收 \(Y_r\)，目的接收 \(Y_d\)。从 \(S\) 到 \(\{R, D\}\) 的信息流速率不能超过 \(I(X_s; Y_r, Y_d)\)。因此，容量 \(C\) 必须满足：
\[ C \le \max_{p(x_s)} I(X_s; Y_r, Y_d) \]
其中 \(Y_r, Y_d\) 的分布由 \(p(y_r, y_d | x_s)\) 决定，这可以通过对 \(x_r\) 求和得到 \(p(y_r, y_d | x_s) = \sum_{x_r} p(y_r, y_d | x_s, x_r) p(x_r | x_s)\)。注意，中继的发送 \(X_r\) 是依赖于其接收 \(Y_r\) 的，但在计算这个割界时，我们考虑的是源节点 \(X_s\) 与其直接影响的输出 \((Y_r, Y_d)\) 之间的互信息。更严格的推导需要引入辅助随机变量或使用信息瓶颈论证，但直观上，源节点发送的信息最终体现在 \(Y_r\) 和 \(Y_d\) 上。对于离散无记忆信道，这个界通常写为：
\[ C \le \max_{p(x_s)} I(X_s; Y_r, Y_d) \]
这里 \(p(y_r, y_d | x_s)\) 是边缘分布 \(p(y_r, y_d | x_s) = \sum_{x_r} p(y_r, y_d | x_s, x_r) p(x_r)\)，因为 \(X_s\) 和 \(X_r\) 是联合编码产生的，它们之间可能存在依赖关系。然而，对于无记忆信道，更标准的割集界推导是基于信息流的，考虑从 \(\mathcal{A}\) 到 \(\mathcal{A}^c\) 的所有出边。对于 \(\mathcal{A}=\{S\}\)，出边是 \(S \to R\) 和 \(S \to D\)。信息流通过 \(X_s\)。接收端是 \(Y_r\) 和 \(Y_d\)。因此，速率不能超过 \(I(X_s; Y_r, Y_d)\)。
② 割 2：\(\mathcal{A} = \{S, R\}\)，\(\mathcal{A}^c = \{D\}\)
这个割将源节点和中继节点与目的节点分开。信息必须从 \(\{S, R\}\) 流向 \(D\)。源节点发送 \(X_s\)，中继发送 \(X_r\)。目的节点接收 \(Y_d\)。从 \(\{S, R\}\) 到 \(D\) 的信息流速率不能超过 \(I(X_s, X_r; Y_d)\)。因此，容量 \(C\) 必须满足：
\[ C \le \max_{p(x_s, x_r)} I(X_s, X_r; Y_d) \]
这里 \(p(x_s, x_r)\) 是源和中继联合发送信号的分布。需要注意的是，中继的发送 \(X_r\) 是基于其接收 \(Y_r\) 的函数，而 \(Y_r\) 又依赖于 \(X_s\)。因此 \(X_r\) 和 \(X_s\) 是相关的。这个最大化是在所有允许的编码策略下进行的，这使得直接计算这个界变得复杂。然而，对于离散无记忆信道，割集界定理给出了一个更精确的形式。
对于离散无记忆中继信道 \(p(y_d, y_r | x_s, x_r)\)，其容量 \(C\) 的割集界为：
\[ C \le \min_{\mathcal{A}: S \in \mathcal{A}, D \notin \mathcal{A}} \max_{p(x_{\mathcal{A}})} I(X_{\mathcal{A}}; Y_{\mathcal{A}^c} | X_{\mathcal{A}^c}) \]
其中 \(X_{\mathcal{A}}\) 是集合 \(\mathcal{A}\) 中节点发送的信号，\(Y_{\mathcal{A}^c}\) 是集合 \(\mathcal{A}^c\) 中节点接收的信号，\(X_{\mathcal{A}^c}\) 是集合 \(\mathcal{A}^c\) 中节点发送的信号。对于基本的三节点中继信道，我们只需要考虑两个非平凡的割：
⚝ 割 \(\{S\} | \{R, D\}\)：信息从 \(S\) 流出。流出的信号是 \(X_s\)。接收信号是 \(Y_r, Y_d\)。这个割界是 \(I(X_s; Y_r, Y_d)\)。
⚝ 割 \(\{S, R\} | \{D\}\)：信息从 \(S\) 和 \(R\) 流出。流出的信号是 \(X_s, X_r\)。接收信号是 \(Y_d\)。这个割界是 \(I(X_s, X_r; Y_d)\)。
因此，中继信道的容量 \(C\) 满足：
\[ C \le \max_{p(x_s, x_r | x_s)} \min \{ I(X_s; Y_r, Y_d), I(X_s, X_r; Y_d) \} \]
这里的最大化是在所有可能的联合分布 \(p(x_s, x_r)\) 下进行的，其中 \(X_r\) 是 \(Y_r\) 的函数，而 \(Y_r\) 又依赖于 \(X_s\)。更精确地，最大化是在所有允许的编码和中继策略下，对联合分布 \(p(x_s) p(y_r, y_d | x_s, x_r) p(x_r | y_r)\) 诱导的 \(p(x_s, x_r, y_r, y_d)\) 进行的。
割集界给出了容量的上限，但通常不能直接达到。中继信道的容量是一个著名的开放问题，只有在特定条件下才能精确确定，例如退化中继信道。
6.3 可达方案：解码转发 (Decode-and-Forward, DF)
解码转发（Decode-and-Forward, DF）是一种直观且重要的中继策略。在这种方案中，中继节点 \(R\) 尝试完全解码源节点 \(S\) 发送的消息 \(W\)。如果解码成功，中继将作为源节点，使用自己的编码器将消息 \(W\) 编码，并将码字发送给目的节点 \(D\)。目的节点 \(D\) 同时接收来自源节点 \(S\) 和中继节点 \(R\) 的信号，并利用这两个信号联合解码原始消息 \(W\)。
DF 方案通常采用分块编码（block coding）的方式。假设源节点将消息 \(W\) 编码为长度为 \(n\) 的码字 \(X_s^n\)。传输过程可以分为两个阶段（或使用不同的资源块）：
① 阶段 1：源到中继和目的 (Source to Relay and Destination)
源节点 \(S\) 发送码字 \(X_s^n\)。中继节点 \(R\) 接收到 \(Y_r^n\)，目的节点 \(D\) 接收到 \(Y_d^n\)。
中继节点 \(R\) 使用其接收到的 \(Y_r^n\) 尝试解码 \(W\)。为了使中继能够可靠解码，源到中继的传输速率 \(R\) 必须小于或等于信道 \(S \to R\) 的容量 \(C_{SR}\)，或者更准确地说，小于 \(I(X_s; Y_r | X_r)\) 在特定条件下的值（考虑到中继可能同时发送）。在一个简单的模型中，如果中继在接收阶段不发送，则速率需要小于 \(I(X_s; Y_r)\)。
② 阶段 2：中继到目的 (Relay to Destination)
如果中继成功解码消息 \(W\)，它将使用一个独立的编码器将 \(W\) 编码为长度为 \(n\) 的码字 \(X_r^n\)，并发送给目的节点 \(D\)。目的节点 \(D\) 在此阶段接收到 \(Y_d'^n\)。
在更常见的 DF 描述中，源和中继是同时发送的，但中继的发送依赖于过去接收到的信息。考虑一个 \(n\) 个符号的传输块。源节点发送 \(X_s^n\)。中继节点在时刻 \(i\) 发送 \(X_r[i]\)，它依赖于 \(Y_r^{i-1}\)（为了因果性，或者依赖于前一个块的解码结果）。目的节点接收 \(Y_d^n\)。
一个典型的 DF 可达性证明使用联合典型性解码。源节点 \(S\) 有 \(2^{nR}\) 个可能的消息 \(w \in \{1, \dots, 2^{nR}\}\)。
6.3.1 编码方案 (Encoding Scheme)
① 源节点 \(S\)：
对于每个消息 \(w\)，源节点生成一个码字 \(X_s^n(w)\) 遵循联合典型集（jointly typical set）原理。具体来说，可以随机生成 \(2^{nR}\) 个码字 \(X_s^n(w)\) 独立同分布（i.i.d.）地根据 \(p(x_s)\)。
② 中继节点 \(R\)：
中继节点接收到 \(Y_r^n\)。它尝试找到唯一的消息 \(\hat{w}\) 使得 \((X_s^n(\hat{w}), Y_r^n)\) 是联合典型（jointly typical）的。如果找到这样的唯一 \(\hat{w}\)，中继就认为源发送的消息是 \(\hat{w}\)。然后，中继使用一个辅助码本（或与源相同的码本）生成一个码字 \(X_r^n(\hat{w})\) 并发送。为了提高效率，中继的发送 \(X_r^n\) 可以与源的发送 \(X_s^n\) 相关联，例如使用联合编码分布 \(p(x_s, x_r)\)。中继根据解码出的消息 \(\hat{w}\) 生成 \(X_r^n(\hat{w})\) 遵循 \(p(x_r | x_s)\) 的条件分布。
6.3.2 联合典型性解码器 (Joint Typicality Decoder)
目的节点 \(D\) 接收到 \(Y_d^n\)。它也可能接收到中继的发送 \(X_r^n\)（如果信道模型允许，或者中继的发送对目的节点是可观测的）。更常见的是，目的节点接收到 \(Y_d^n\)，并且知道中继的编码策略（即知道中继会发送 \(X_r^n(\hat{w})\) 如果它解码出 \(\hat{w}\)）。目的节点尝试找到唯一的消息 \(\hat{w}\) 使得 \((X_s^n(\hat{w}), X_r^n(\hat{w}), Y_d^n)\) 是联合典型（jointly typical）的。
6.3.3 错误概率分析 (Error Probability Analysis)
错误可能发生在两个地方：
① 中继解码错误：中继无法正确解码源消息 \(W\)。这要求源到中继的传输速率 \(R\) 满足 \(R < I(X_s; Y_r | X_r)\)（如果 \(X_r\) 与 \(X_s\) 相关）或 \(R < I(X_s; Y_r)\)（如果 \(X_r\) 独立于 \(X_s\) 或中继在接收时不发送）。更精确地，中继需要解码出 \(W\)，这要求 \(R < I(X_s; Y_r | X_r)\) 在给定 \(X_r\) 的条件下。考虑到中继的发送 \(X_r\) 是基于其接收 \(Y_r\) 的函数，分析变得复杂。一个常用的方法是让中继解码前一个块的消息，并在当前块发送。
② 目的解码错误：假设中继解码正确，目的节点无法正确解码消息 \(W\)，即使它知道 \(W\) 对应的 \(X_s^n(W)\) 和中继发送的 \(X_r^n(W)\)。目的节点接收 \(Y_d^n\)。它需要区分不同的消息 \(w\)。解码成功的条件是 \((X_s^n(w), X_r^n(w), Y_d^n)\) 是联合典型的。错误发生当存在另一个消息 \(w' \ne w\) 使得 \((X_s^n(w'), X_r^n(w'), Y_d^n)\) 也是联合典型的。为了使目的节点能够可靠解码，速率 \(R\) 必须小于 \(I(X_s, X_r; Y_d)\)。
综合中继和目的的解码要求，DF 方案的可达速率 \(R\) 必须满足：
\[ R < I(X_s; Y_r | X_r) \]
\[ R < I(X_s, X_r; Y_d) \]
这里的互信息是在联合分布 \(p(x_s, x_r) p(y_r, y_d | x_s, x_r)\) 下计算的。中继的发送 \(X_r\) 是基于其接收 \(Y_r\) 的函数，这使得 \(X_s\) 和 \(X_r\) 相关。通过引入一个辅助随机变量 \(U\) 并使用马尔可夫链 \(U \to X_s \to (Y_r, Y_d)\) 和 \(U \to X_s \to X_r \to Y_d\)，可以得到更一般的 DF 可达速率。一个重要的 DF 可达速率是：
\[ R_{DF} = \max_{p(u, x_s, x_r)} \min \{ I(U; Y_r | X_r), I(U, X_r; Y_d) \} \]
其中 \(U \to X_s \to (Y_r, Y_d)\) 形成马尔可夫链，且 \(X_r\) 是 \(Y_r\) 的函数。通常简化为 \(U=X_s\)，此时可达速率为：
\[ R_{DF} = \max_{p(x_s, x_r | x_s)} \min \{ I(X_s; Y_r | X_r), I(X_s, X_r; Y_d) \} \]
这里的最大化是在所有满足 \(p(x_s, x_r, y_r, y_d) = p(x_s) p(x_r | x_s) p(y_r, y_d | x_s, x_r)\) 的分布下进行的。注意，\(X_r\) 依赖于 \(Y_r\)，这使得 \(p(x_r | x_s)\) 的选择受到限制。一个常用的方法是让中继解码前一个块的消息，并在当前块发送，这样 \(X_r\) 依赖于前一个块的 \(Y_r\)，从而与当前块的 \(X_s\) 独立。在这种情况下，可达速率为：
\[ R_{DF} = \max_{p(x_s) p(x_r)} \min \{ I(X_s; Y_r), I(X_s, X_r; Y_d) \} \]
这是 DF 方案的一个重要可达界。
DF 方案的优点是概念清晰，且在源到中继信道质量较好时能获得较大增益。缺点是中继必须能够可靠解码，如果源到中继信道质量差，DF 性能会受限。
6.4 可达方案：放大转发 (Amplify-and-Forward, AF)
放大转发（Amplify-and-Forward, AF）是一种主要应用于模拟中继或物理层处理的中继策略。与 DF 不同，AF 中继不尝试解码接收到的信号，而是直接对其进行放大，然后转发给目的节点。这种策略实现简单，延迟低，但会同时放大接收到的噪声。
在离散无记忆信道的信息论框架下分析 AF 的容量是复杂的，因为 AF 本质上是一个模拟域的操作，将其直接映射到离散信道模型 \(p(y_d, y_r | x_s, x_r)\) 并不直接。AF 更自然地出现在连续信道模型中，特别是高斯信道。
考虑一个简单的高斯中继信道模型：
\[ Y_r = h_{sr} X_s + Z_r \]
\[ Y_d = h_{sd} X_s + h_{rd} X_r + Z_d \]
其中 \(X_s, X_r\) 是发送信号，\(Y_r, Y_d\) 是接收信号，\(h_{sr}, h_{sd}, h_{rd}\) 是信道增益，\(Z_r, Z_d\) 是加性高斯白噪声（Additive White Gaussian Noise, AWGN）。源和中继有功率约束 \(E[|X_s|^2] \le P_s\)，\(E[|X_r|^2] \le P_r\)。
在 AF 方案中，中继接收到 \(Y_r\)，然后将其放大并发送。一个简单的线性 AF 策略是 \(X_r = \beta Y_r\)，其中 \(\beta\) 是一个放大系数，通常选择以满足中继的功率约束。例如，\(\beta = \sqrt{P_r / (h_{sr}^2 P_s + \sigma_r^2)}\)，其中 \(\sigma_r^2\) 是 \(Z_r\) 的方差。
将 \(X_r = \beta Y_r\) 代入 \(Y_d\) 的表达式：
\[ Y_d = h_{sd} X_s + h_{rd} (\beta Y_r) + Z_d \]
\[ Y_d = h_{sd} X_s + h_{rd} \beta (h_{sr} X_s + Z_r) + Z_d \]
\[ Y_d = (h_{sd} + h_{rd} \beta h_{sr}) X_s + h_{rd} \beta Z_r + Z_d \]
目的节点接收到的信号是 \(Y_d\)，它包含了源信号 \(X_s\) 以及经过中继放大后的噪声 \(Z_r\) 和目的地的噪声 \(Z_d\)。这是一个等效的单用户信道，但噪声项是相关的 \((h_{rd} \beta Z_r + Z_d)\)。
在高斯信道下，AF 的可达速率可以通过计算 \(I(X_s; Y_d)\) 来获得，其中 \(Y_d\) 是上述表达式。最大化 \(I(X_s; Y_d)\) 关于 \(X_s\) 的分布（通常是高斯分布）可以得到一个可达速率。
AF 方案的优点是实现简单，无需解码，适用于对延迟要求高的场景。缺点是噪声会被放大，且其信息论性能通常不如 DF 或 CF（除了某些特定信道条件）。AF 的容量分析通常比 DF 和 CF 更复杂，因为它涉及模拟信号的处理和噪声的传递。在信息论文献中，AF 更多地被视为一种次优但实用的中继策略，而不是容量分析的主要工具。
6.5 可达方案：压缩转发 (Compress-and-Forward, CF)
压缩转发（Compress-and-Forward, CF）是另一种重要的中继策略，由 Cover 和 El Gamal 在其开创性论文中提出。与 DF 不同，CF 中继不尝试解码源消息，而是将自己接收到的信号 \(Y_r^n\) 进行有损压缩，并将压缩后的信息发送给目的节点 \(D\)。目的节点 \(D\) 利用其直接接收到的信号 \(Y_d^n\) 和来自中继的压缩信息联合解码源消息 \(W\)。
CF 方案的核心思想是，中继将 \(Y_r^n\) 压缩成一个索引 \(I\)，该索引以速率 \(R_c\) 发送给目的节点。目的节点接收到 \(Y_d^n\) 和索引 \(I\)。通过索引 \(I\)，目的节点可以重构出 \(Y_r^n\) 的一个近似 \(\hat{Y}_r^n\)。然后，目的节点利用 \((Y_d^n, \hat{Y}_r^n)\) 联合解码源消息 \(W\)。
CF 方案通常也采用分块编码。源节点将消息 \(W\) 编码为 \(X_s^n(W)\)。
① 源到中继和目的 (Source to Relay and Destination)
源节点 \(S\) 发送 \(X_s^n(W)\)。中继节点 \(R\) 接收到 \(Y_r^n\)，目的节点 \(D\) 接收到 \(Y_d^n\)。
② 中继压缩和转发 (Relay Compression and Forwarding)
中继节点 \(R\) 将其接收到的序列 \(Y_r^n\) 视为一个需要压缩的源。它使用一个有损信源编码器将 \(Y_r^n\) 压缩成一个索引 \(I \in \{1, \dots, 2^{nR_c}\}\)。这个压缩过程是基于 \(Y_r^n\) 的典型性，并利用了 \(Y_r^n\) 与 \(X_s^n\) 之间的依赖关系。压缩的目的是使得目的节点能够以高概率根据 \(Y_d^n\) 和索引 \(I\) 重构出 \(Y_r^n\) 的一个近似 \(\hat{Y}_r^n\)，并且 \((X_s^n, \hat{Y}_r^n, Y_d^n)\) 是联合典型的。
中继将索引 \(I\) 编码为码字 \(X_r^n(I)\) 并发送给目的节点。发送速率为 \(R_c\)。
③ 目的联合解码 (Destination Joint Decoding)
目的节点 \(D\) 接收到 \(Y_d^n\) 和来自中继的 \(X_r^n(I)\)。目的节点首先使用 \(X_r^n(I)\) 解码出索引 \(I\)。这要求中继到目的的传输速率 \(R_c\) 满足 \(R_c < I(X_r; Y_d)\)（如果 \(X_r\) 独立于 \(X_s\)）或更一般地，考虑到 \(X_r\) 可能与 \(X_s\) 相关，速率需要小于 \(I(X_r; Y_d | X_s)\) 或 \(I(X_r; Y_d)\) 取决于具体模型。
一旦目的节点获得索引 \(I\)，它就可以重构出 \(\hat{Y}_r^n(I)\)。然后，目的节点尝试找到唯一的消息 \(\hat{w}\) 使得 \((X_s^n(\hat{w}), \hat{Y}_r^n(I), Y_d^n)\) 是联合典型的。
CF 方案的可达速率 \(R\) 取决于源编码速率 \(R\) 和中继转发速率 \(R_c\)，以及它们与信道容量和压缩失真函数的关系。
一个重要的 CF 可达速率是：
\[ R_{CF} = \max_{p(x_s) p(x_r | y_r)} \min_{p(\hat{y}_r | y_r, y_d)} I(X_s; Y_d, \hat{Y}_r) \]
约束条件是中继转发速率 \(R_c\) 必须足够大以可靠传输压缩信息，并且压缩必须足够好以允许目的节点重构。具体来说，压缩速率 \(R_c\) 必须满足 \(R_c > I(Y_r; \hat{Y}_r | Y_d)\)，这是 Wyner-Ziv 压缩定理的推广，因为目的节点在重构 \(Y_r\) 时有边信息 \(Y_d\)。同时，中继发送压缩信息 \(I\) 给目的节点的速率 \(R_c\) 必须小于中继到目的信道的容量，即 \(R_c < I(X_r; Y_d)\)（如果 \(X_r\) 独立于 \(X_s\)）或 \(R_c < I(X_r; Y_d | X_s)\)（如果 \(X_r\) 依赖于 \(X_s\)）。
综合这些条件，CF 可达速率可以表示为：
\[ R_{CF} = \max_{p(x_s) p(x_r | y_r) p(\hat{y}_r | y_r, y_d)} I(X_s; Y_d, \hat{Y}_r) \]
受限于 \(I(Y_r; \hat{Y}_r | Y_d) \le I(X_r; Y_d)\)。这里的最大化是在所有允许的分布下进行的。
CF 方案的优点是中继不需要解码源消息，只需对接收信号进行压缩，这在源到中继信道质量较差时可能比 DF 更有优势。缺点是实现相对复杂，需要联合典型性编码和解码，并且压缩引入了失真。
DF 和 CF 是中继信道中两种基本的可达方案。通常情况下，DF 在源到中继信道较好时性能更优，而 CF 在源到中继信道较差或中继到目的信道较好时可能更有优势。中继信道的容量是 DF 可达速率和 CF 可达速率的并集（或更复杂的组合）的闭包，但精确容量通常难以确定。
7. 其他多用户信道模型 (Other Multi-User Channel Models)
在前面的章节中，我们深入探讨了多址接入信道 (Multiple Access Channel, MAC)、广播信道 (Broadcast Channel, BC) 和干扰信道 (Interference Channel, IC) 这几种基本的多用户信道模型。这些模型构成了多用户信息论的基石，但现实世界的通信场景往往更为复杂，需要考虑更多的因素。本章将介绍一些其他重要的多用户信道模型，包括双向信道 (Two-Way Channel)、带有状态信息的信道 (Channels with State Information) 以及带有反馈的信道 (Channels with Feedback)。这些模型进一步丰富了多用户信息论的研究范畴，并为理解更复杂的通信网络提供了理论工具。
7.1 双向信道 (Two-Way Channel)
双向信道 (Two-Way Channel, TWC) 是一个描述两个终端之间互相发送和接收信息的通信模型。与单向信道（如 MAC 或 BC）不同，TWC 中的两个节点都既是发送方又是接收方。这使得 TWC 的分析比单向信道更为复杂，因为它涉及两个方向上的信息传输以及它们之间的潜在相互影响。
一个基本的离散无记忆双向信道 (Discrete Memoryless Two-Way Channel, DMTWC) 可以由一个转移概率矩阵 \( P(y_1, y_2 | x_1, x_2) \) 来描述，其中：
⚝ \( x_1 \in \mathcal{X}_1 \) 是终端 1 在某个时刻发送的符号。
⚝ \( x_2 \in \mathcal{X}_2 \) 是终端 2 在同一时刻发送的符号。
⚝ \( y_1 \in \mathcal{Y}_1 \) 是终端 1 在该时刻接收到的符号。
⚝ \( y_2 \in \mathcal{Y}_2 \) 是终端 2 在该时刻接收到的符号。
在每个时间步长 \( i \)，终端 1 选择发送符号 \( X_{1,i} \) 基于其要发送的消息 \( M_1 \) 和它迄今为止接收到的所有符号 \( Y_{1,1}, \dots, Y_{1,i-1} \)。类似地，终端 2 选择发送符号 \( X_{2,i} \) 基于其要发送的消息 \( M_2 \) 和它迄今为止接收到的所有符号 \( Y_{2,1}, \dots, Y_{2,i-1} \)。在 \( n \) 个时间步长后，终端 1 基于接收到的序列 \( Y_{1,1}^n \) 解码出 \( M_2 \)，终端 2 基于接收到的序列 \( Y_{2,1}^n \) 解码出 \( M_1 \)。
TWC 的核心问题是确定一对可达速率 \( (R_1, R_2) \)，其中 \( R_1 \) 是终端 1 向终端 2 传输信息的速率，\( R_2 \) 是终端 2 向终端 1 传输信息的速率。所有可达速率对的集合构成了 TWC 的容量区域 (Capacity Region)。
与单向信道不同，TWC 中的通信是交互式的 (Interactive)。终端在发送当前符号时，可以利用之前接收到的信息。这种交互性使得编码和解码方案的设计变得更加复杂。
对于一般的 DMTWC，其容量区域的精确表征仍然是一个开放问题。然而，对于一些特殊情况，例如无干扰的双向信道（即 \( Y_1 \) 只依赖于 \( X_1 \) 和 \( X_2 \)，\( Y_2 \) 只依赖于 \( X_1 \) 和 \( X_2 \)，但 \( Y_1 \) 不直接依赖于 \( X_1 \) 且 \( Y_2 \) 不直接依赖于 \( X_2 \) 的情况，或者更常见的是 \( Y_1 \) 依赖于 \( X_2 \) 和 \( X_1 \)，\( Y_2 \) 依赖于 \( X_1 \) 和 \( X_2 \) 的情况），或者某些对称信道，可以得到容量区域的界限或精确结果。
一个重要的概念是马尔可夫链 (Markov Chain) \( X_1 - (X_2, Y_1) - Y_2 \) 和 \( X_2 - (X_1, Y_2) - Y_1 \)，这描述了在给定发送符号时，接收符号之间的依赖关系。
TWC 的研究对于理解分布式计算、中继网络中的双向通信以及更一般的网络信息流具有重要意义。
7.2 带有状态信息的信道 (Channels with State Information)
在许多实际通信场景中，信道的特性可能不是固定的，而是随时间变化的。这种变化可以用一个信道状态 (Channel State) 变量来描述。带有状态信息的信道 (Channels with State Information) 模型考虑了信道状态对通信性能的影响，以及如何利用这些状态信息来提高传输效率。
一个离散无记忆带有状态信息的信道可以由转移概率 \( P(y|x, s) \) 来描述，其中 \( x \in \mathcal{X} \) 是发送符号，\( y \in \mathcal{Y} \) 是接收符号，\( s \in \mathcal{S} \) 是信道状态。信道状态序列 \( S_1, S_2, \dots, S_n \) 通常被建模为一个随机过程，例如独立同分布 (Independent and Identically Distributed, i.i.d.) 过程。
根据信道状态信息在发送端 (Transmitter, Tx) 和接收端 (Receiver, Rx) 的可用性，可以分为几种情况：
① 状态信息在接收端已知 (State Information at the Receiver, CSIR)：
⚝ 在这种情况下，接收方在解码时知道当前的信道状态 \( S_i \)。信道可以描述为 \( P(y|x, s) \)，接收方观察到 \( (Y_i, S_i) \)。
⚝ 对于 i.i.d. 状态，信道容量为：
\[ C = \max_{P(x|s)P(s)} I(X; Y|S) \]
⚝ 注意，发送端的编码策略可以依赖于状态的分布 \( P(s) \)，但不能依赖于实时的状态实现 \( S_i \)，除非状态信息也在发送端已知。如果发送端不知道状态，则发送符号 \( X_i \) 必须独立于 \( S_i \)。此时容量为 \( \max_{P(x)} I(X; Y, S) \)。
② 状态信息在发送端已知 (State Information at the Transmitter, CSIT)：
⚝ 在这种情况下，发送方在编码时知道当前的信道状态 \( S_i \)。接收方可能知道或不知道状态。
⚝ 如果状态信息只在发送端已知，接收端未知：发送方可以根据 \( S_i \) 选择发送符号 \( X_i \)，即 \( X_i \) 是 \( S_i \) 的函数。接收方只观察到 \( Y_i \)。
⚝ 这种情况下，著名的 Gel'fand-Pinsker 定理给出了离散无记忆信道的容量。容量为：
\[ C = \max_{P(u, x|s)P(s)} I(U; Y) - I(U; S) \]
其中 \( U \) 是一个辅助随机变量 (Auxiliary Random Variable)，满足马尔可夫链 \( U - (X, S) - Y \)。发送方根据 \( S \) 和要发送的消息选择 \( X \)，但实际上是先选择 \( U \) 再选择 \( X \)。这个定理表明，即使接收端不知道状态，发送端利用状态信息进行编码（称为“写在纸上脏污”或 Dirty Paper Coding, DPC 的思想）可以消除状态对容量的损失，达到状态在接收端已知时的容量（在某些条件下）。
③ 状态信息在发送端和接收端均已知 (CSIT and CSIR)：
⚝ 这是最有利的情况。发送方可以根据 \( S_i \) 选择 \( X_i \)，接收方解码时也知道 \( S_i \)。
⚝ 容量为：
\[ C = \max_{P(x|s)P(s)} I(X; Y|S) \]
⚝ 这与状态信息只在接收端已知时的容量公式相同，但这里的 \( P(x|s) \) 可以是任意条件分布，因为发送端知道 \( s \)。
④ 状态信息在发送端和接收端均未知 (Neither CSIT nor CSIR)：
⚝ 这是最困难的情况。发送方和接收方都不知道实时的信道状态。
⚝ 容量通常难以确定，可能需要考虑状态的统计特性（如分布）以及是否可以通过接收信号来估计状态。
带有状态信息的多用户信道模型则更为复杂，例如带有状态信息的 MAC、BC 或 IC。此时需要考虑多个发送方和接收方如何利用或处理状态信息。例如，在带有状态信息的 MAC 中，每个发送方可能独立地知道或不知道信道状态，接收方也可能知道或不知道。这些不同的信息模式会导致不同的容量区域。
Gel'fand-Pinsker 编码是一种重要的技术，用于处理发送端已知但接收端未知的状态信息。其核心思想是利用状态信息预先抵消其对信号的影响，使得接收方即使不知道状态也能正确解码。这种思想在广播信道中的脏纸编码 (Dirty Paper Coding, DPC) 中得到了应用，用于处理已知的干扰。
7.3 带有反馈的信道 (Channels with Feedback)
反馈 (Feedback) 是指接收方将关于接收信号或解码结果的信息发送回发送方。在通信系统中，反馈可以用于多种目的，例如自适应调制编码、功率控制、ARQ (Automatic Repeat reQuest) 等。在信息论中，我们关注反馈是否能够增加信道容量。
考虑一个离散无记忆信道 (Discrete Memoryless Channel, DMC) \( P(y|x) \)。带有反馈的 DMC 模型如下：在时间步长 \( i \)，发送方选择发送符号 \( X_i \) 不仅依赖于要发送的消息 \( M \)，还依赖于之前所有时刻接收到的反馈信息 \( Y_1, \dots, Y_{i-1} \)。接收方在时间 \( n \) 结束时根据 \( Y_1^n \) 解码 \( M \)。
对于单用户 DMC，Cover 于 1972 年证明了一个重要的结论：反馈不能增加离散无记忆信道的容量。也就是说，带有反馈的 DMC 的容量等于没有反馈时的容量：
\[ C_{\text{feedback}} = \max_{P(x)} I(X; Y) \]
这个结论是反直觉的，因为我们通常认为反馈是有益的。然而，Cover 的证明表明，对于无记忆信道，发送方在不知道未来信道实现的情况下，最优的策略是发送独立同分布的随机变量，而反馈并不能帮助发送方更好地选择当前的输入来利用未来的信道特性。反馈的作用更多体现在简化编码和解码方案的设计，例如通过逐个符号的反馈实现容量可达的编码方案，或者在有限码长下提高可靠性。
然而，对于以下类型的信道，反馈可以增加容量：
① 带有记忆的信道 (Channels with Memory)：
⚝ 如果信道具有记忆性，即当前输出不仅依赖于当前输入，还依赖于过去的输入或输出，反馈可以帮助发送方了解信道的记忆状态，从而更好地选择输入。
② 带有状态信息的信道 (Channels with State Information)：
⚝ 如果信道状态是随机变化的，并且发送方不知道状态，但接收方知道状态并可以通过反馈将状态信息（或与状态相关的信息）传回发送方，那么反馈可以有效地为发送方提供状态信息，从而可能增加容量。例如，在发送端不知道状态的擦除信道 (Erasure Channel) 中，接收方反馈哪些符号被擦除，发送方可以重传，这相当于增加了容量。
③ 多用户信道 (Multi-User Channels)：
⚝ 在多用户信道中，反馈的作用更为复杂和多样。反馈可以来自一个或多个接收方，可以提供关于信道状态、干扰水平、甚至其他用户的消息的信息。
⚝ MAC with Feedback: 在 MAC 中，接收方可以向所有发送方提供反馈。反馈可以帮助协调不同发送方的传输，例如通过告知发送方它们之间的相对功率或信道条件。对于某些 MAC 模型，反馈可以增加容量区域。
⚝ BC with Feedback: 在 BC 中，每个接收方可以向发送方提供反馈。发送方可以利用这些反馈来调整对不同用户的传输策略。对于退化广播信道 (Degraded Broadcast Channel)，反馈不能增加容量区域。但对于非退化广播信道，反馈可能增加容量区域。
⚝ IC with Feedback: 在 IC 中，每个接收方可以向其对应的发送方提供反馈，或者向所有发送方提供反馈。反馈可以帮助发送方了解干扰情况，从而调整发送策略以减轻干扰。反馈在 IC 中的作用是一个活跃的研究领域。
总的来说，反馈在信息论中的作用取决于信道的特性。对于简单的无记忆信道，反馈不增加容量，但对于更复杂的信道模型（如带有记忆、状态或多用户的信道），反馈可以提供有价值的信息，帮助发送方更好地适应信道条件和用户需求，从而可能扩大可达速率区域。
本章介绍的这几种信道模型——双向信道、带有状态信息的信道和带有反馈的信道——虽然在形式上与 MAC、BC、IC 不同，但它们都反映了现实世界通信系统的复杂性，并引入了新的信息论挑战和研究方向。对这些模型的深入理解有助于我们构建更高效、更鲁棒的通信系统。
8. chapter 8： 网络信息论基础 (Fundamentals of Network Information Theory)
欢迎来到本书的第八章！在前几章中，我们深入探讨了点对点信道以及几种基本的多用户信道模型，如多址接入信道 (Multiple Access Channel, MAC)、广播信道 (Broadcast Channel, BC) 和干扰信道 (Interference Channel, IC)。这些模型虽然涵盖了多个用户交互的场景，但通常只涉及少数几个通信终端（发送者、接收者）。然而，在现实世界的通信系统中，信息往往需要在由众多节点组成的复杂网络中传输，例如互联网、无线传感器网络或蜂窝移动网络的回程链路。网络信息论 (Network Information Theory) 正是研究这类复杂网络中信息传输极限的理论框架。
本章将作为通往网络信息论世界的桥梁。我们将从更通用的网络模型出发，探讨信息在网络中的流动特性，引入强大的分析工具——多终端割集界 (Multi-Terminal Cut-Set Bounds)，并初步了解超越传统路由的网络编码 (Network Coding) 思想。通过对特定网络示例的分析，我们将巩固理论知识，并为后续可能深入学习更复杂的网络信息论主题打下基础。
8.1 通用网络模型与信息流 (General Network Model and Information Flow)
在多用户信道中，我们通常关注的是少数几个发送者与接收者之间的通信。例如，MAC 有多个发送者和一个接收者，BC 有一个发送者和多个接收者。干扰信道则涉及多个发送者和多个接收者，但每对发送-接收者之间存在干扰。网络信息论则将视野扩展到更普遍的场景：一个由多个节点和连接这些节点的信道组成的图 (graph)。
一个通用的通信网络可以被建模为一个有向图 \( \mathcal{G} = (\mathcal{V}, \mathcal{E}) \)，其中 \( \mathcal{V} \) 是节点的集合，\( \mathcal{E} \) 是有向边的集合。
⚝ 节点 (Nodes) \( v \in \mathcal{V} \)：网络中的设备或实体，可以是发送者 (sources)、接收者 (destinations) 或中继 (relays)。
⚝ 边 (Edges) \( e \in \mathcal{E} \)：表示节点之间的通信链路，通常建模为离散无记忆信道 (Discrete Memoryless Channel, DMC) 或高斯信道 (Gaussian Channel) 等。每条边 \( (u, v) \in \mathcal{E} \) 表示从节点 \( u \) 到节点 \( v \) 的信道。
在网络信息论中，信息流 (Information Flow) 的概念比简单的“发送者到接收者”更丰富。一个网络可能包含多个信息源 (sources) 和多个信息宿 (sinks) 或目的地 (destinations)。信息源产生消息，这些消息需要在网络中传输，最终到达一个或多个目的地。
考虑一个具有 \( K \) 个源节点 \( S_1, \dots, S_K \) 和 \( L \) 个目的节点 \( D_1, \dots, D_L \) 的网络。每个源节点 \( S_i \) 可能需要将消息 \( M_i \) 传输到一个或多个目的节点 \( D_j \)。这些消息可以是独立的，也可以是相关的。网络中的其他节点充当中间节点或中继节点，它们接收来自其他节点的信息，并根据某种策略处理后转发出去。
信息流的复杂性体现在：
① 多源多宿 (Multiple Sources, Multiple Destinations)：网络中同时存在多个信息传输任务。
② 中继 (Relaying)：信息通过中间节点进行转发，这些中间节点可能需要对接收到的信息进行解码、编码或更复杂的处理。
③ 广播与多播 (Broadcasting and Multicasting)：一个源节点的消息可能需要发送给多个目的节点（多播），甚至所有节点（广播）。
④ 汇聚 (Multiple Access)：多个源节点的消息可能需要汇聚到同一个目的节点。
⑤ 干扰 (Interference)：不同信息流在共享信道或节点时可能产生干扰。
与单用户或简单多用户信道不同，网络中的节点不仅仅是简单的发送者或接收者。中间节点（中继）的行为至关重要。它们可以采用不同的策略来处理信息，例如：
⚝ 存储转发 (Store-and-Forward)：接收完整的数据包，存储，然后再转发。这是传统路由的基本模式。
⚝ 解码转发 (Decode-and-Forward, DF)：尝试完全解码接收到的信息，然后重新编码并转发。
⚝ 放大转发 (Amplify-and-Forward, AF)：直接放大接收到的模拟信号并转发，不进行解码。
⚝ 压缩转发 (Compress-and-Forward, CF)：将接收到的信息进行有损或无损压缩，然后将压缩后的信息转发。
⚝ 网络编码 (Network Coding)：对接收到的多个信息流进行代数组合，然后转发组合后的信息。
网络信息论的目标是理解和确定在给定网络拓扑和信道特性下，不同信息流可以同时传输的最大速率区域，即网络容量区域 (Network Capacity Region)。这通常比计算单个点对点信道的容量要困难得多，因为需要考虑所有节点之间的相互作用以及最优的中继和编码策略。
8.2 多终端割集界 (Multi-Terminal Cut-Set Bounds)
在单用户信道中，信道容量给出了可靠通信的速率上限。对于多用户信道，如 MAC 或 BC，我们讨论的是容量区域，即所有可达速率对或速率向量的集合。在更复杂的网络中，由于存在多个源和多个宿，以及中间节点，直接计算容量区域通常非常困难。割集界 (Cut-Set Bound) 提供了一个强大的工具来给出网络中信息流速率的可达上限。
割集界是基于信息流守恒的思想。考虑网络中的一个信息源 \( S \) 和一个目的节点 \( D \)。为了使信息从 \( S \) 可靠地传输到 \( D \)，流出 \( S \) 的信息量不能超过网络在任何“割”上能够承载的最大信息量。
形式上，考虑一个网络 \( \mathcal{G} = (\mathcal{V}, \mathcal{E}) \)。一个割 (cut) 是将节点集合 \( \mathcal{V} \) 分割成两个不相交的子集 \( \mathcal{A} \) 和 \( \mathcal{A}^c = \mathcal{V} \setminus \mathcal{A} \)。割 \( (\mathcal{A}, \mathcal{A}^c) \) 上的边集合 \( \mathcal{E}(\mathcal{A}, \mathcal{A}^c) \) 包含所有从 \( \mathcal{A} \) 指向 \( \mathcal{A}^c \) 的边。
对于一个单源单宿 (Single-Source Single-Destination, S-D) 网络，如果源节点 \( S \in \mathcal{A} \) 且目的节点 \( D \in \mathcal{A}^c \)，则从 \( S \) 到 \( D \) 的信息传输速率 \( R \) 必须小于或等于跨越割 \( (\mathcal{A}, \mathcal{A}^c) \) 的信息传输能力。对于离散无记忆网络，这个能力由以下公式给出：
\[ R \le I(X_{\mathcal{A}}; Y_{\mathcal{A}^c} | X_{\mathcal{A}^c}) \]
其中 \( X_{\mathcal{A}} \) 是集合 \( \mathcal{A} \) 中所有节点发送的随机变量的集合，\( Y_{\mathcal{A}^c} \) 是集合 \( \mathcal{A}^c \) 中所有节点接收的随机变量的集合，\( X_{\mathcal{A}^c} \) 是集合 \( \mathcal{A}^c \) 中所有节点发送的随机变量的集合。这个界限需要对所有可能的输入分布进行最大化。更直观地，对于一个特定的割 \( (\mathcal{A}, \mathcal{A}^c) \) 将源与宿分开，从 \( \mathcal{A} \) 流向 \( \mathcal{A}^c \) 的总信息量是有限的。
在多终端网络中，割集界的概念被推广。考虑一个网络，其中源节点集合为 \( \mathcal{S} \subseteq \mathcal{V} \) 且目的节点集合为 \( \mathcal{D} \subseteq \mathcal{V} \)。假设我们关注的是从源集合 \( \mathcal{S}_0 \subseteq \mathcal{S} \) 到目的集合 \( \mathcal{D}_0 \subseteq \mathcal{D} \) 的总信息速率 \( R_{\mathcal{S}_0 \to \mathcal{D}_0} \)。一个多终端割 (multi-terminal cut) 是将 \( \mathcal{V} \) 分割成 \( \mathcal{A} \) 和 \( \mathcal{A}^c \) 的一个划分，使得 \( \mathcal{S}_0 \subseteq \mathcal{A} \) 且 \( \mathcal{D}_0 \subseteq \mathcal{A}^c \)。则总速率 \( R_{\mathcal{S}_0 \to \mathcal{D}_0} \) 必须小于或等于跨越这个割的信息传输能力。
对于一个具有多个源-宿对的网络，例如源 \( S_i \) 到宿 \( D_i \) 的速率为 \( R_i \)，割集界可以为每个 \( R_i \) 或它们的组合 \( \sum R_i \) 提供上限。对于任意一个将 \( S_i \) 与 \( D_i \) 分开的割 \( (\mathcal{A}, \mathcal{A}^c) \) (即 \( S_i \in \mathcal{A}, D_i \in \mathcal{A}^c \))，速率 \( R_i \) 必须满足：
\[ R_i \le \max_{p(x_{\mathcal{V} \setminus \{D_i\}})} I(X_{\mathcal{A}}; Y_{\mathcal{A}^c} | X_{\mathcal{A}^c}, \text{messages other than } M_i) \]
这个公式考虑了其他消息可能已知的情况，通常更紧。一个更常用的、对所有消息都适用的割集界是：
\[ R_i \le \max_{p(x_{\mathcal{V}})} I(X_{\mathcal{A}}; Y_{\mathcal{A}^c} | X_{\mathcal{A}^c}) \]
其中最大化是对所有节点输入随机变量的联合分布进行的。
对于多播 (multicast) 场景，即一个源 \( S \) 将消息发送给多个目的节点 \( D_1, \dots, D_L \)，速率 \( R \) 必须小于或等于任何一个将 \( S \) 与 所有 \( D_j \) 分开的割 \( (\mathcal{A}, \mathcal{A}^c) \) (即 \( S \in \mathcal{A}, \{D_1, \dots, D_L\} \subseteq \mathcal{A}^c \)) 的容量。
割集界是网络信息论中最重要的上界之一。它提供了一个衡量网络容量的基准。如果一个可达速率区域达到了割集界，那么它就是容量区域。然而，对于许多网络，割集界是不可达的，这意味着简单的路由或传统的转发策略不足以达到理论上限，这正是网络编码发挥作用的地方。
8.3 网络编码 (Network Coding) 简介
传统的网络路由策略是“存储转发”：节点接收数据包，确定下一个目的地，然后将数据包原封不动地转发出去。这种策略可以看作是信息流的“复制”和“转发”。然而，在某些网络场景下，简单的路由并不能达到割集界所预测的容量上限。网络编码 (Network Coding) 是一种革命性的思想，它允许网络中的中间节点对接收到的信息进行组合（编码），然后转发组合后的信息。
网络编码的核心思想是：信息在网络中传输时，可以像水流一样汇合和分流，但更重要的是，它们可以在中间节点进行“混合”。这种混合通常是基于有限域 (finite field) 上的代数运算，例如异或 (XOR) 操作。
考虑一个经典的例子：蝴蝶网络 (Butterfly Network)。
\[ \text{Source S} \to \text{Node A} \to \text{Node C} \to \text{Destination D1} \]
\[ \text{Source S} \to \text{Node B} \to \text{Node C} \to \text{Destination D2} \]
\[ \text{Node A} \to \text{Node D2} \]
\[ \text{Node B} \to \text{Node D1} \]
假设 S 有两个消息 \( m_1 \) 和 \( m_2 \)，需要同时发送给 D1 和 D2。每条链路的容量为 1 单位。
如果使用传统的路由：
S 发送 \( m_1 \) 给 A，\( m_2 \) 给 B。
A 转发 \( m_1 \) 给 C 和 D2。
B 转发 \( m_2 \) 给 C and D1。
C 接收 \( m_1 \) 和 \( m_2 \)。C 需要将 \( m_1 \) 发给 D1，将 \( m_2 \) 发给 D2。但 C 到 D1 和 C 到 D2 的链路容量都只有 1。C 无法同时发送 \( m_1 \) 和 \( m_2 \) 给 D1 和 D2。
如果 C 先发 \( m_1 \) 给 D1，再发 \( m_2 \) 给 D2，或者反过来，总共需要两个时间单位才能完成传输。总吞吐量受限于 C 到 D1/D2 的瓶颈。
现在考虑网络编码：
S 发送 \( m_1 \) 给 A，\( m_2 \) 给 B。
A 转发 \( m_1 \) 给 C 和 D2。
B 转发 \( m_2 \) 给 C and D1。
关键在于节点 C。C 接收到 \( m_1 \) 和 \( m_2 \)。C 不转发 \( m_1 \) 或 \( m_2 \) 本身，而是计算它们的异或 \( m_1 \oplus m_2 \)，并将 \( m_1 \oplus m_2 \) 发送给 D1 和 D2。
D1 接收到来自 B 的 \( m_2 \) 和来自 C 的 \( m_1 \oplus m_2 \)。D1 可以计算 \( m_2 \oplus (m_1 \oplus m_2) = m_1 \)。D1 成功恢复了 \( m_1 \) 和 \( m_2 \)。
D2 接收到来自 A 的 \( m_1 \) 和来自 C 的 \( m_1 \oplus m_2 \)。D2 可以计算 \( m_1 \oplus (m_1 \oplus m_2) = m_2 \)。D2 成功恢复了 \( m_1 \) 和 \( m_2 \)。
通过网络编码，S 可以在一个时间单位内将 \( m_1 \) 和 \( m_2 \) 同时发送给 D1 和 D2。总吞吐量翻倍。
网络编码的优势：
① 提高吞吐量 (Increased Throughput)：在多播等场景下，网络编码可以显著提高信息传输速率，有时可以达到割集界。
② 提高鲁棒性 (Improved Robustness)：网络编码可以提供固有的冗余，使得网络对链路中断或数据包丢失具有更好的容忍能力。
③ 简化设计 (Simplified Design)：在某些情况下，网络编码可以简化路由和资源分配的复杂性。
网络编码可以分为线性网络编码 (Linear Network Coding) 和非线性网络编码 (Non-Linear Network Coding)。线性网络编码是最常用和研究最深入的类型，它在有限域上对信息进行线性组合。
网络编码理论的出现打破了传统通信网络中“路由”的思维定势，为网络信息传输开辟了新的可能性。它在无线网络、内容分发网络、分布式存储等领域具有广泛的应用前景。
8.4 特定网络示例分析 (Analysis of Specific Network Examples)
为了更好地理解网络信息论的概念和工具，我们来分析几个具体的网络示例。
8.4.1 蝴蝶网络 (Butterfly Network)
我们再次审视蝴蝶网络，这次从割集界的角度分析。网络结构如下：
节点：\( \mathcal{V} = \{S, A, B, C, D1, D2\} \)
边：\( \mathcal{E} = \{(S,A), (S,B), (A,C), (B,C), (A,D2), (B,D1), (C,D1), (C,D2)\} \)
假设所有链路容量均为 1 单位。S 需要将消息 \( m_1 \) 和 \( m_2 \) 发送给 D1 和 D2 (多播)。
考虑将 S 与 D1 和 D2 分开的割。
⚝ 割 1: \( \mathcal{A} = \{S\}, \mathcal{A}^c = \{A, B, C, D1, D2\} \)。跨越割的边是 \( (S,A) \) 和 \( (S,B) \)。总容量为 \( C(S,A) + C(S,B) = 1 + 1 = 2 \)。
⚝ 割 2: \( \mathcal{A} = \{S, A, B\}, \mathcal{A}^c = \{C, D1, D2\} \)。跨越割的边是 \( (A,C), (B,C), (A,D2), (B,D1) \)。总容量为 \( C(A,C) + C(B,C) + C(A,D2) + C(B,D1) = 1 + 1 + 1 + 1 = 4 \)。
⚝ 割 3: \( \mathcal{A} = \{S, A, B, C\}, \mathcal{A}^c = \{D1, D2\} \)。跨越割的边是 \( (C,D1), (C,D2) \)。总容量为 \( C(C,D1) + C(C,D2) = 1 + 1 = 2 \)。
⚝ 割 4: \( \mathcal{A} = \{S, A, C\}, \mathcal{A}^c = \{B, D1, D2\} \)。跨越割的边是 \( (S,B), (A,D2), (C,D1), (C,D2) \)。总容量为 \( 1 + 1 + 1 + 1 = 4 \)。
⚝ 割 5: \( \mathcal{A} = \{S, B, C\}, \mathcal{A}^c = \{A, D1, D2\} \)。跨越割的边是 \( (S,A), (B,D1), (C,D1), (C,D2) \)。总容量为 \( 1 + 1 + 1 + 1 = 4 \)。
对于多播，速率 \( R \) 必须小于或等于所有将源与所有目的地分开的割的容量的最小值。在上述割中，割 1 和割 3 的容量都是 2。因此，割集界给出的多播速率上限是 2。这意味着 S 可以以总速率 2 (例如，\( m_1 \) 和 \( m_2 \) 各以速率 1) 同时发送给 D1 和 D2。
正如我们在 8.3 节看到的，通过网络编码 (C 发送 \( m_1 \oplus m_2 \))，我们可以实现 \( m_1 \) 和 \( m_2 \) 同时传输，每个消息速率为 1，总速率为 2。这达到了割集界。而如果只使用路由，最大可达总速率只能是 1.5 (例如，\( m_1 \) 走 S-A-C-D1 和 S-A-D2，\( m_2 \) 走 S-B-C-D2 和 S-B-D1，C 处成为瓶颈)。这个例子清晰地展示了网络编码如何帮助达到割集界。
8.4.2 中继网络 (Relay Network)
虽然中继信道在第 6 章单独讨论，但它也可以看作是最简单的网络模型之一：一个源 (S)，一个中继 (R)，一个目的 (D)。
\[ S \to R \to D \]
\[ S \to D \]
这是一个具有一个中继节点的网络。信息从 S 发出，可以通过 S-D 直达链路，也可以通过 S-R-D 路径经过中继。
割集界分析：
⚝ 割 1: \( \mathcal{A} = \{S\}, \mathcal{A}^c = \{R, D\} \)。跨越割的边是 \( (S,R) \) 和 \( (S,D) \)。速率上限 \( R \le C(S,R) + C(S,D) \)。
⚝ 割 2: \( \mathcal{A} = \{S, R\}, \mathcal{A}^c = \{D\} \)。跨越割的边是 \( (S,D) \) 和 \( (R,D) \)。速率上限 \( R \le C(S,D) + C(R,D) \)。
因此，中继信道的容量 \( C \) 满足 \( C \le \min(C(S,R) + C(S,D), C(S,D) + C(R,D)) \)。
\[ C \le C(S,D) + \min(C(S,R), C(R,D)) \]
这是中继信道的割集界。
我们在第 6 章讨论了不同的中继策略：
⚝ 解码转发 (DF)：中继尝试解码 S 的消息，然后编码并转发给 D。可达速率为 \( \min(I(X_S; Y_R | X_D), I(X_S, X_R; Y_D)) \)。对于离散无记忆信道，DF 的可达速率可以达到 \( \min(I(X_S; Y_R), I(X_S, X_R; Y_D)) \) 在适当的编码下。
⚝ 压缩转发 (CF)：中继不解码，而是将接收到的信号 \( Y_R \) 进行压缩 \( \hat{Y}_R \) 并发送给 D。D 接收到 \( Y_D \) 和 \( \hat{Y}_R \)，联合解码 S 的消息。可达速率与 \( I(X_S; Y_D, \hat{Y}_R) \) 相关，其中 \( \hat{Y}_R \) 是 \( Y_R \) 的压缩版本，满足 \( I(Y_R; \hat{Y}_R) \ge I(Y_R; Y_D | X_S, \hat{Y}_R) \)。
对于某些特定的中继信道（例如退化中继信道），DF 可以达到容量。对于一般的中继信道，CF 通常能获得更好的性能，并且在某些情况下可以达到割集界。中继信道是研究网络信息论中继策略的基石。
8.4.3 多播网络 (Multicast Network)
多播是网络信息论中一个重要的研究主题，其目标是将一个源节点的消息发送给多个目的节点。我们已经在蝴蝶网络中看到了一个简单的多播例子。
对于一般的多播网络，源节点 S 需要将消息 M 发送给目的节点集合 \( \mathcal{D} = \{D_1, \dots, D_L\} \)。多播容量 \( C_{multicast} \) 定义为消息 M 可以可靠传输的最大速率。根据割集界，多播容量的上限是所有将 S 与 所有 \( D_j \) 分开的割的最小容量。
\[ C_{multicast} \le \min_{(\mathcal{A}, \mathcal{A}^c): S \in \mathcal{A}, \mathcal{D} \subseteq \mathcal{A}^c} \text{Capacity}(\mathcal{A}, \mathcal{A}^c) \]
其中 \( \text{Capacity}(\mathcal{A}, \mathcal{A}^c) \) 是跨越割 \( (\mathcal{A}, \mathcal{A}^c) \) 的信息传输能力，通常由 \( \max_{p(x_{\mathcal{A}})} I(X_{\mathcal{A}}; Y_{\mathcal{A}^c} | X_{\mathcal{A}^c}) \) 给出（对于无记忆信道）。
一个重要的结论是，对于无环的有向图 (Directed Acyclic Graph, DAG) 网络中的多播，线性网络编码足以达到割集界。这意味着在这样的网络中，多播容量等于最小割容量 (min-cut capacity)。这是一个非常强大的结果，表明在多播场景下，网络编码是实现容量的关键技术。
然而，对于有环图或更复杂的网络场景（如多源多宿），网络编码是否总能达到容量，以及如何设计最优的网络编码方案，仍然是活跃的研究领域。
通过这些示例，我们可以看到割集界如何提供容量上限，以及网络编码如何成为实现或接近这些上限的强大工具。网络信息论为分析和设计复杂通信网络提供了坚实的理论基础。
9. chapter 9：高级主题与研究前沿 (Advanced Topics and Research Frontiers)
欢迎来到本书的第九章。在前几章中，我们系统地学习了多用户信道的基本模型、容量区域以及一些经典的可达性与逆定理证明方法，包括多址接入信道 (Multiple Access Channel, MAC)、广播信道 (Broadcast Channel, BC)、干扰信道 (Interference Channel, IC) 和中继信道 (Relay Channel) 等。这些基础知识构成了多用户信息论的基石。然而，信息论的研究从未止步，尤其是在面对日益复杂和多样化的现代通信系统时。本章将带领大家探索多用户信息论领域的一些高级主题和当前的研究前沿，这些内容不仅是理论研究的热点，也与未来的通信技术发展紧密相关。我们将讨论认知无线电、物理层安全、缓存网络、多天线系统（包括大规模 MIMO）、非正交多址接入等新兴或重要的研究方向，并展望未来的挑战与机遇。
9.1 认知无线电信道 (Cognitive Radio Channels)
随着无线通信业务的爆炸式增长，频谱资源日益稀缺。传统的固定频谱分配方式效率低下。认知无线电 (Cognitive Radio, CR) 作为一种智能无线通信技术，旨在通过感知环境、学习和适应，动态地利用频谱资源，提高频谱效率。在信息论的框架下，认知无线电系统可以建模为一种特殊的多用户信道。
⚝ 基本概念与模型 (Basic Concepts and Models)
认知无线电系统通常包含两类用户：主用户 (Primary User, PU) 和次用户 (Secondary User, SU)。主用户拥有优先使用频谱的权利，而次用户则在不或尽量少干扰主用户通信的前提下，机会性地使用频谱。这种共存场景带来了独特的信息论问题。
典型的认知无线电信道模型包括：
⚝ 认知 MAC (Cognitive MAC)：多个次用户向一个认知基站发送信息，同时需要考虑对主用户的干扰。
⚝ 认知 BC (Cognitive BC)：一个认知基站向多个次用户发送信息，同时需要考虑对主用户的干扰。
⚝ 认知 IC (Cognitive IC)：多个认知用户对之间进行通信，相互之间存在干扰，同时还需要考虑对主用户的干扰。
⚝ 带干扰认知用户对的信道 (Channel with an Interfering Cognitive User Pair)：一个主用户对进行通信，同时存在一个认知用户对，认知用户对的发送端知道主用户发送的信息（非因果或因果），并利用此信息来减轻对主用户的干扰或提高自身性能。
⚝ 信息论挑战与结果 (Information-Theoretic Challenges and Results)
认知无线电信道的信息论分析面临的主要挑战在于如何建模和处理主用户与次用户之间的相互作用，特别是干扰管理和信息共享。
① 干扰约束下的容量 (Capacity under Interference Constraints)：次用户的通信速率受到对主用户干扰的严格限制。信息论需要分析在满足特定干扰功率约束或干扰温度约束下，次用户能达到的最大可达速率区域。
② 信息共享的作用 (Role of Information Sharing)：认知用户通常具备感知能力，可能获取主用户的一些信息（如主用户的发送信号、信道状态等）。这些信息可以被认知用户用来进行干扰对消或协作传输，从而提高系统性能。信息论分析了不同程度的信息共享对认知信道容量区域的影响。例如，如果认知发送端完全知道主用户的发送信号，这类似于脏纸编码 (Dirty Paper Coding, DPC) 的场景，认知用户可以利用此信息来“预编码”，消除对主用户的干扰。
③ 频谱感知与机会接入 (Spectrum Sensing and Opportunistic Access)：认知用户需要感知频谱是否被主用户占用，并在主用户空闲时进行传输。这涉及到感知错误（漏检或误检）对系统性能的影响，以及如何在感知和传输之间进行权衡。
④ 协作认知 (Cooperative Cognition)：多个认知用户之间可以进行协作，例如通过中继主用户的信号来换取使用频谱的机会，或者认知用户之间协作进行频谱感知和传输调度。
信息论在认知无线电领域的研究为理解其性能极限、设计高效的资源分配和干扰管理策略提供了理论基础。例如，对于带干扰认知用户对的信道，当认知发送端知道主用户消息时，其可达速率可以显著提高，甚至在某些情况下可以实现无损（对主用户而言）的频谱共享。
9.2 物理层安全 (Physical Layer Security) 在多用户场景中的应用
传统的通信安全主要依赖于加密等上层技术。物理层安全 (Physical Layer Security, PLS) 则利用无线信道的物理特性（如噪声、衰落、干扰）来实现安全通信，即使窃听者拥有无限计算能力，也无法完全恢复秘密信息。香农在1949年提出的窃听信道 (Wiretap Channel) 模型是物理层安全的信息论基础。将物理层安全的概念扩展到多用户场景，带来了新的挑战和机遇。
⚝ 窃听信道回顾 (Review of Wiretap Channel)
一个基本的窃听信道包含一个发送端 (Alice)、一个合法接收端 (Bob) 和一个窃听端 (Eve)。Alice发送消息给Bob，同时Eve也在窃听。目标是Alice发送的消息能可靠地到达Bob，同时对Eve是安全的（Eve无法获取关于消息的任何信息）。
信息论中的安全容量 (Secrecy Capacity) 定义为在合法接收端可靠解码且窃听端互信息为零（或趋于零）的条件下，发送端能达送的最大安全传输速率。对于离散无记忆窃听信道，安全容量 \( C_s \) 为：
\[ C_s = \max_{p(x)} [I(X; Y) - I(X; Z)]^+ \]
其中 \( Y \) 是Bob接收到的信号，\( Z \) 是Eve接收到的信号，\( [a]^+ = \max(a, 0) \)。这表明只有当合法信道优于窃听信道时，才能实现正的安全容量。
⚝ 多用户物理层安全模型 (Multi-User Physical Layer Security Models)
将物理层安全引入多用户环境，会产生多种复杂的场景：
⚝ 安全 MAC (Secure MAC)：多个发送端向一个合法接收端发送秘密信息，同时存在一个或多个窃听端。发送端之间可能需要协作来保证安全性。
⚝ 安全 BC (Secure BC)：一个发送端向多个合法接收端发送不同的秘密信息，同时存在一个或多个窃听端。发送端需要设计编码策略，使得每个合法接收端只能解码自己的信息，而窃听端无法获取任何秘密信息。这通常涉及到广播信道理论与安全理论的结合，如利用叠加编码 (Superposition Coding) 或脏纸编码 (DPC) 的思想。
⚝ 安全 IC (Secure IC)：多个用户对之间进行通信，相互之间存在干扰，同时还存在窃听端。每个发送端需要保证其信息对窃听端是安全的，同时管理对其他合法用户的干扰。
⚝ 带有恶意用户的信道 (Channels with Malicious Users)：除了被动的窃听端，还可能存在主动干扰或欺骗的恶意用户。
⚝ 多用户物理层安全挑战与技术 (Challenges and Techniques in Multi-User PLS)
多用户场景下的物理层安全面临的主要挑战包括：
① 干扰与安全性的耦合 (Coupling of Interference and Security)：在多用户系统中，用户之间的干扰既可能成为安全的威胁（帮助窃听者），也可能被利用来增强安全性（作为一种“人工噪声”）。
② 多用户协作 (Multi-User Cooperation)：多个合法用户可以协作来对抗窃听。例如，一个用户可以发送人工噪声 (Artificial Noise, AN) 来干扰窃听端，同时尽量不影响合法接收端。
③ 资源分配与优化 (Resource Allocation and Optimization)：如何在保证安全性的前提下，优化功率分配、波束赋形 (Beamforming) 等资源，最大化系统的安全吞吐量。
④ 信道状态信息 (Channel State Information, CSI)：窃听端的 CSI 获取是物理层安全中的关键问题。如果发送端或合法接收端无法准确获取窃听端的 CSI，设计有效的安全策略将非常困难。在多用户场景下，获取所有相关信道的 CSI 更加复杂。
多用户物理层安全的研究旨在设计高效的编码、传输和资源分配方案，利用多用户协作、干扰管理等技术，在复杂的无线环境中实现可靠且安全的通信。
9.3 缓存与内容分发网络 (Caching and Content Distribution Networks)
随着视频流、在线游戏等内容密集型应用的普及，内容分发网络 (Content Distribution Networks, CDN) 面临巨大的流量压力。将内容缓存在网络边缘（如基站、用户设备）可以有效降低回程链路 (Backhaul Link) 的负载，减少内容获取延迟。信息论为分析和优化缓存网络的性能提供了独特的视角。
⚝ 缓存网络模型 (Caching Network Models)
一个典型的缓存网络模型包括一个内容源 (Source)、多个缓存节点 (Cache Nodes)（如基站）和多个用户 (Users)。内容源存储所有内容文件。缓存节点在离线阶段（Off-peak hours）预先缓存一部分内容。在在线阶段（Peak hours），用户请求内容，缓存节点根据缓存的内容和信道条件，通过无线链路向用户分发内容。如果缓存节点没有用户请求的内容，则需要通过回程链路从内容源获取。
信息论关注的核心问题是：在给定缓存容量和网络拓扑的情况下，如何设计缓存策略（哪些内容缓存在哪里）和分发策略（如何通过无线和有线链路传输内容），以最小化平均内容获取延迟或回程链路负载，或者最大化可服务的用户数量。
⚝ 信息论在缓存中的应用 (Application of Information Theory in Caching)
信息论，特别是网络编码 (Network Coding) 和多播 (Multicast) 理论，在缓存网络中发挥着重要作用。
① MDS 码与分布式缓存 (MDS Codes and Distributed Caching)：最大距离可分码 (Maximum Distance Separable Code, MDS) 可以用于对内容文件进行编码，然后将编码后的块分布式地缓存在不同的节点。这种方法可以提高缓存的鲁棒性，并支持更灵活的分发策略。
② 缓存增益与分发增益 (Caching Gain and Delivery Gain)：信息论分析揭示了缓存带来的两种主要增益：缓存增益 (Caching Gain)，即通过预缓存减少了在线传输的数据量；分发增益 (Delivery Gain)，即通过巧妙的分发策略（如多播或网络编码）使得一次传输可以服务多个用户。
③ Maddah-Ali-Niesen (MAN) 方案 (Maddah-Ali-Niesen (MAN) Scheme)：这是一个里程碑式的工作，证明了在广播信道下，通过联合设计缓存和分发策略，可以实现显著的缓存增益和分发增益。其核心思想是在分发阶段，发送端发送的内容是多个用户请求内容的组合（利用异或等操作），使得每个用户可以利用自己缓存的内容和接收到的组合信号来恢复所需内容。这种方案在某些条件下可以达到理论最优的性能。
④ 多用户缓存信道容量 (Capacity of Multi-User Caching Channels)：信息论研究旨在刻画在不同网络拓扑、缓存容量和用户需求模式下，缓存网络的可达速率区域或最小回程链路负载。这通常涉及到复杂的联合编码、缓存和调度问题。
缓存与内容分发网络是信息论与实际系统紧密结合的一个典范，信息论的理论成果为设计高效的缓存系统提供了深刻的洞察和理论指导。
9.4 多天线 (MIMO) 与大规模 MIMO (Massive MIMO) 中的多用户信息论
多天线技术 (Multiple-Input Multiple-Output, MIMO) 是现代无线通信系统的核心技术之一，它通过在发送端和/或接收端使用多根天线来显著提高信道容量和可靠性。将 MIMO 技术应用于多用户场景（Multi-User MIMO, MU-MIMO），可以同时服务多个用户，进一步提升系统性能。大规模 MIMO (Massive MIMO) 则是 MU-MIMO 的一个极端形式，基站配备数十甚至数百根天线。信息论在理解和分析 MIMO 和大规模 MIMO 系统中的多用户通信极限方面发挥了关键作用。
⚝ MIMO 信道容量回顾 (Review of MIMO Channel Capacity)
对于单用户 MIMO 信道，其容量取决于天线数量、信道矩阵和信噪比 (SNR)。在理想条件下（已知信道状态信息），MIMO 信道容量随最小发送接收天线数线性增长。
⚝ 多用户 MIMO (MU-MIMO)
在 MU-MIMO 系统中，基站（通常是多天线）同时与多个单天线或多天线用户通信。这可以看作是多用户信道模型在多天线场景下的扩展：
⚝ MU-MIMO MAC：多个用户（每个用户可能有多根天线）向一个多天线基站发送信息。
⚝ MU-MIMO BC：一个多天线基站向多个用户（每个用户可能有多根天线）发送信息。
MU-MIMO 的关键技术包括空间复用 (Spatial Multiplexing) 和波束赋形 (Beamforming)。信息论分析表明，通过有效的预编码 (Precoding) 和解码技术，MU-MIMO 系统可以显著提高系统的总吞吐量。对于 MU-MIMO BC，脏纸编码 (DPC) 被证明是实现容量区域的理论最优方案，但其实现复杂度很高。实际系统中常采用线性预编码技术，如迫零 (Zero-Forcing, ZF) 或块对角化 (Block Diagonalization)。
⚝ 大规模 MIMO (Massive MIMO)
大规模 MIMO 系统中，基站天线数量 \( M \) 远大于用户数量 \( K \)。这种配置带来了许多独特的优势和信息论特性：
① 信道硬化 (Channel Hardening)：随着 \( M \) 增大，信道向量的范数趋于确定值，信道变得更加“确定”，随机性降低。
② 阵列增益 (Array Gain)：基站可以通过波束赋形将能量高度集中到特定用户方向，显著提高接收信噪比。
③ 干扰抑制 (Interference Suppression)：通过大规模天线阵列，基站可以有效地在空间上区分不同用户，抑制用户间干扰。
④ 导频污染 (Pilot Contamination)：在时分双工 (Time Division Duplex, TDD) 系统中，用户发送导频信号供基站估计上行信道，然后利用信道的互易性估计下行信道。然而，不同小区使用相同的导频序列会导致导频污染，限制了系统性能的提升。信息论分析了导频污染对大规模 MIMO 系统容量的影响。
信息论为大规模 MIMO 系统的容量分析、导频设计、信号处理算法（如线性预编码/解码的性能分析）以及理解其基本限制提供了理论框架。研究表明，在大规模 MIMO 系统中，即使采用简单的线性处理技术，也能获得接近最优的性能，且随着天线数量的增加，随机信道下的容量可以线性增长。
9.5 非正交多址接入 (Non-Orthogonal Multiple Access, NOMA) 的信息论分析
传统的正交多址接入 (Orthogonal Multiple Access, OMA) 技术（如 FDMA, TDMA, OFDMA）将时频资源正交地分配给不同用户。非正交多址接入 (Non-Orthogonal Multiple Access, NOMA) 允许多个用户在同一时频资源上进行传输，通过功率域或码域的非正交性来区分用户。NOMA 被认为是第五代移动通信 (5G) 及未来通信系统中的关键技术之一，因为它有望提高频谱效率和连接数。
⚝ NOMA 基本原理 (Basic Principle of NOMA)
NOMA 的核心思想是发送端（如基站）将多个用户的信号叠加后发送，接收端（用户）利用串行干扰消除 (Successive Interference Cancellation, SIC) 技术来分离和解码信号。
以功率域 NOMA 为例，基站向两个用户发送信息。假设用户1信道条件较差，用户2信道条件较好。基站将用户1和用户2的信号叠加发送，并为信道条件差的用户1分配更高的功率。用户2由于信道条件好，可以直接将叠加信号中的用户1信号视为干扰，先解码出用户1的信号，然后从叠加信号中减去用户1的信号（SIC），再解码自己的信号。用户1由于信道条件差，直接将用户2的信号视为噪声，解码自己的信号。
⚝ NOMA 的信息论视角 (Information-Theoretic Perspective of NOMA)
从信息论的角度看，功率域 NOMA 与广播信道中的叠加编码 (Superposition Coding) 思想密切相关。基站向多个用户发送信息，可以看作是一个广播信道。叠加编码正是广播信道中实现容量区域的一种有效技术。通过将给不同用户的消息进行编码并叠加传输，并利用接收端的 SIC 能力，可以实现比正交分配更高的总速率。
信息论分析 NOMA 主要关注：
① 可达速率区域 (Achievable Rate Region)：分析在给定信道条件和功率分配下，NOMA 系统能达到的用户速率组合区域。这与广播信道的容量区域分析类似，但需要考虑用户的具体解码能力（是否支持 SIC 以及 SIC 的顺序）。
② 与 OMA 的比较 (Comparison with OMA)：信息论可以严格证明，在许多场景下，NOMA 的可达速率区域可以包含或超越 OMA 的可达速率区域，从而在理论上证明了 NOMA 的频谱效率优势。
③ 功率分配优化 (Power Allocation Optimization)：功率分配是影响 NOMA 性能的关键因素。信息论分析有助于找到最优的功率分配策略，以最大化总速率或满足用户的最小速率需求。
④ SIC 的影响 (Impact of SIC)：SIC 的性能取决于信道估计的准确性和干扰消除的精度。信息论模型通常假设理想 SIC，但实际系统中 SIC 的非理想性会影响 NOMA 的实际性能。
NOMA 的信息论研究为其性能评估、系统设计和优化提供了理论支撑，解释了其潜在的优势，并指出了实现这些优势所需的条件和技术。
9.6 开放问题与未来研究方向 (Open Problems and Future Research Directions)
尽管多用户信息论已经取得了丰硕的成果，但随着通信技术的不断演进和应用场景的日益复杂，仍有许多重要的开放问题和未来的研究方向。
⚝ 复杂网络模型 (Complex Network Models)：现实世界的通信网络往往比本书讨论的 MAC, BC, IC, Relay Channel 等基本模型复杂得多，例如包含多个发送端、多个接收端、多个中继、干扰节点、缓存节点等组成的任意拓扑结构。如何刻画这些复杂网络的容量区域或性能极限仍然是一个巨大的挑战。网络信息论 (Network Information Theory) 正是研究这类问题的领域，但对于许多通用网络，其容量仍然未知。
⚝ 动态与随机性 (Dynamics and Randomness)：信道状态、用户分布、内容需求等在实际系统中都是动态变化的。如何设计能够适应这些动态变化的编码、传输和资源分配策略，并在信息论上分析其性能，是一个重要的研究方向。带有状态信息的信道 (Channels with State Information) 和随机网络模型是相关的研究领域。
⚝ 有限长码性能 (Finite-Length Code Performance)：经典信息论定理通常是基于无限长码块的渐近结果。然而，实际系统中使用的是有限长码。研究有限长码在多用户信道中的性能界限和设计方法，对于实际系统设计具有重要意义。
⚝ 非理想因素的影响 (Impact of Non-Ideal Factors)：实际系统中存在许多非理想因素，如信道估计误差、反馈延迟、硬件损伤、计算复杂度限制等。如何将这些非理想因素纳入信息论模型，并分析其对系统性能极限的影响，是连接理论与实践的关键。
⚝ 新的应用场景 (New Application Scenarios)：信息论需要不断适应新的通信应用场景，例如物联网 (Internet of Things, IoT)、车联网 (Vehicular Networks)、无人机通信、天地一体化网络等。这些场景带来了新的信道模型、新的性能指标（如连接数、延迟、可靠性）和新的挑战。
⚝ 机器学习与信息论的结合 (Integration of Machine Learning and Information Theory)：机器学习技术在通信系统中的应用越来越广泛，例如用于信道估计、信号检测、资源分配等。如何将信息论的理论框架与机器学习技术相结合，利用数据驱动的方法来解决复杂的多用户通信问题，并从信息论角度理解机器学习算法在通信中的能力和局限性，是一个新兴且充满潜力的研究方向。
⚝ 语义通信与任务驱动通信 (Semantic Communication and Task-Oriented Communication)：传统信息论关注比特的可靠传输。未来的通信系统可能更关注信息的“意义”或“价值”，即语义通信，或者为了完成特定任务而进行通信，即任务驱动通信。如何建立新的信息论框架来衡量和优化这类通信系统的性能，是信息论面临的长期挑战。
这些开放问题和研究方向表明，多用户信息论是一个充满活力和不断发展的领域。对这些前沿问题的探索不仅能够深化我们对通信系统基本极限的理解，也将为未来通信技术的创新提供理论指导。
10. chapter 10： 总结与展望 (Conclusion and Outlook)
亲爱的同学们，我们已经一同走过了多用户信道信息论的精彩旅程。从单用户信道的基础，到多址接入信道（Multiple Access Channel, MAC）、广播信道（Broadcast Channel, BC）、干扰信道（Interference Channel, IC）以及中继信道（Relay Channel）等核心模型，再到网络信息论的初步探索和前沿研究，我们系统地学习了多用户通信系统的信息论极限和实现方法。本章作为全书的终结，旨在帮助大家回顾所学知识，理解多用户信息论的深远意义，并展望未来的发展方向。
10.1 主要内容回顾与知识体系梳理 (Recap of Main Contents and Knowledge System)
在本书中，我们围绕多用户信道这一核心主题，构建了一个层层递进的知识体系。
首先，在第1章和第2章，我们回顾了信息论的基础知识，包括熵（Entropy）、互信息（Mutual Information）、信道容量（Channel Capacity）等概念，以及单用户信道的信源编码定理（Source Coding Theorem）和信道编码定理（Channel Coding Theorem）。这些是理解多用户信道的基础。
接着，我们深入探讨了三种最基本的多用户信道模型：
⚝ 多址接入信道（MAC）：多个发送端向一个接收端发送信息。我们学习了其容量区域（Capacity Region）的概念，并利用联合典型性（Joint Typicality）证明了可达性（Achievability），同时也探讨了容量区域的逆定理（Converse Proof）。高斯 MAC（Gaussian MAC）作为重要特例被详细分析。
⚝ 广播信道（BC）：一个发送端向多个接收端发送信息。我们区分了退化广播信道（Degraded Broadcast Channel）和非退化广播信道（Non-Degraded Broadcast Channel），学习了叠加编码（Superposition Coding）在退化 BC 中的应用，并初步了解了脏纸编码（Dirty Paper Coding, DPC）这一强大的技术。高斯 BC 也被作为典型例子进行分析。
⚝ 干扰信道（IC）：多个发送端向多个接收端发送信息，且每个接收端都受到来自非目标发送端的干扰。我们认识到 IC 容量区域的复杂性，学习了自由度（Degrees of Freedom, DoF）这一衡量高信噪比下性能的指标，并了解了 Han-Kobayashi 可达区域（Han-Kobayashi Achievable Region）这一重要的部分容量结果。
随后，我们扩展到更复杂的模型：
⚝ 中继信道（Relay Channel）：引入了中继节点协助通信。我们学习了割集界（Cut-Set Bound）这一重要的容量上界，并探讨了三种典型的可达方案：解码转发（Decode-and-Forward, DF）、放大转发（Amplify-and-Forward, AF）和压缩转发（Compress-and-Forward, CF）。
⚝ 其他多用户信道模型：简要介绍了双向信道（Two-Way Channel）、带有状态信息的信道（Channels with State Information）以及带有反馈的信道（Channels with Feedback），展示了多用户信息论研究的广度和深度。
在网络信息论（Network Information Theory）部分，我们从更宏观的角度审视了信息在网络中的流动，学习了通用网络模型和多终端割集界，并对网络编码（Network Coding）这一突破传统路由限制的技术进行了初步介绍。
最后，我们触及了一些高级主题和研究前沿，包括认知无线电（Cognitive Radio）、物理层安全（Physical Layer Security）、缓存（Caching）、多天线（MIMO）与大规模 MIMO（Massive MIMO）以及非正交多址接入（Non-Orthogonal Multiple Access, NOMA）等，这些都是当前通信领域的热点，也是多用户信息论理论指导实践的生动体现。
整个知识体系可以概括为：
① 单用户基础 → 多用户基本模型（MAC, BC, IC）→ 复杂多用户模型（Relay, etc.）→ 网络信息论 → 前沿应用与研究。
② 在每个模型中，核心任务是确定容量区域（或其界限），并探索可达方案和逆定理证明。
③ 数学工具（概率论、信息度量、典型性分析）贯穿始终。
通过这个体系的学习，我们不仅掌握了多用户信道容量分析的基本方法，更重要的是，培养了从信息论角度思考多用户通信系统性能极限和设计原理的能力。👍
10.2 多用户信息论的理论意义与实践价值 (Theoretical Significance and Practical Value of Multi-User Information Theory)
多用户信息论不仅仅是一门抽象的理论学科，它具有极其重要的理论意义和深远的实践价值。
从理论意义上看：
⚝ 扩展了香农理论（Shannon's Theory）：香农的经典信息论主要关注单用户通信的极限。多用户信息论将其思想和方法推广到多个发送端和多个接收端共存的复杂场景，揭示了用户间协作与干扰的本质，极大地丰富了信息论的理论框架。
⚝ 提供了性能极限的基准：对于各种多用户通信场景，多用户信息论能够确定理论上的最大可达速率区域（即容量区域）。这为实际系统的设计和性能评估提供了根本性的基准，指明了优化的方向和潜在的性能上限。
⚝ 催生了新的编码和传输技术：为了达到或逼近容量极限，理论研究催生了许多创新的编码和传输技术，例如联合典型性解码、叠加编码、脏纸编码、网络编码等。这些技术反过来又推动了通信系统的发展。
⚝ 揭示了多用户交互的本质：通过对不同信道模型的分析，多用户信息论深刻揭示了用户之间的干扰、协作、广播等交互模式对系统整体性能的影响，帮助我们理解复杂通信环境下的信息传输规律。
从实践价值上看：
⚝ 指导现代通信系统设计：无论是蜂窝网络（Cellular Networks）、无线局域网（Wireless LANs）、卫星通信还是物联网（Internet of Things, IoT），多用户通信都是核心。多用户信息论的理论成果直接指导了这些系统的物理层设计，例如多址接入方案（如 OFDMA, NOMA）、干扰管理策略、协作通信技术等。
⚝ 推动无线通信技术发展：5G、6G等新一代移动通信技术面临着海量连接、极高数据速率、极低延迟等挑战。多用户信息论在其中扮演着关键角色，例如大规模 MIMO、非正交多址接入（NOMA）、设备到设备（Device-to-Device, D2D）通信、协作通信等技术都深受多用户信息论思想的影响。
⚝ 优化网络资源分配：理解容量区域有助于更有效地分配有限的无线资源（如带宽、功率、时间），最大化系统吞吐量或满足不同用户的服务质量（Quality of Service, QoS）需求。
⚝ 为其他领域提供理论工具：多用户信息论的思想和方法不仅限于通信领域，也被应用于分布式存储、机器学习、隐私保护、量子信息等多个交叉学科领域。
总而言之，多用户信息论是现代通信理论的基石之一，它不仅解答了“多用户通信的极限在哪里”这一根本问题，更提供了逼近这些极限的理论指导和技术思路，是连接理论与实践的桥梁。🌉
10.3 理论研究与工程实践的结合 (Integration of Theoretical Research and Engineering Practice)
信息论，特别是多用户信息论，与工程实践之间存在着一种紧密而动态的关系。理论研究为工程实践提供了方向和极限，而工程实践中的挑战和需求又不断驱动着理论的深入和发展。
① 理论指导实践：
⚝ 容量区域的理论结果为工程师设定了性能目标。例如，MAC 容量区域告诉我们，通过联合解码，总速率可以达到某个上限，这启发了接收端的复杂信号处理技术。
⚝ 可达性证明中的编码和解码方案（如叠加编码、联合典型性解码）为实际系统的算法设计提供了原型和思路。
⚝ 自由度分析在高信噪比下提供了系统扩展性的洞察，指导了多天线等技术的应用。
② 实践驱动理论：
⚝ 实际信道的复杂性（如衰落、干扰、噪声特性）促使理论家研究更贴近实际的信道模型（如快衰落信道、带记忆信道）。
⚝ 工程实现中的限制（如计算复杂度、延迟要求、硬件成本）对理论方案的可行性提出了挑战，推动了低复杂度算法和次优方案的研究。
⚝ 新的应用场景（如物联网、车联网、边缘计算）带来了新的通信需求和网络结构，激发了对新型多用户信道模型和网络信息论问题的研究。
③ 弥合理论与实践的鸿沟：
尽管信息论提供了理论极限，但实际系统往往难以完全达到这些极限，原因包括：
⚝ 信道模型简化：理论分析常基于简化的信道模型，与实际复杂环境存在差异。
⚝ 编码/解码复杂度：达到容量的理论编码方案通常复杂度极高，难以在实际系统中实现。
⚝ 同步与信道状态信息：理论常假设完美的同步和信道状态信息（Channel State Information, CSI），这在实践中难以获得。
⚝ 有限码长效应：信息论定理通常是渐近的（码长趋于无穷），而实际系统使用有限码长。
弥合这一鸿沟是通信领域持续努力的方向。这需要：
⚝ 发展更实用的编码和调制技术：例如，低密度奇偶校验码（LDPC）和极化码（Polar Codes）等现代信道编码技术，以及非正交多址接入（NOMA）等技术，旨在以可接受的复杂度逼近理论性能。
⚝ 研究有限码长信息论：分析在有限码长下的性能极限和设计方法。
⚝ 考虑实际约束下的信息论：将计算复杂度、延迟、不完美 CSI 等实际因素纳入理论模型。
⚝ 加强理论研究者与工程实践者的交流与合作：理论家需要了解工程中的实际问题，工程师需要理解理论的指导意义。
展望未来，多用户信息论将继续在推动通信技术发展中发挥核心作用。随着人工智能（Artificial Intelligence, AI）与通信的深度融合，信息论与机器学习、优化理论等学科的交叉将更加紧密，有望为解决未来通信系统中的复杂问题提供新的思路和工具。例如，利用机器学习技术设计更优的多用户检测器、资源分配策略，甚至探索新的编码方案。🚀
亲爱的同学们，学习多用户信息论是一个充满挑战但也极富回报的过程。它不仅锻炼了我们的数学思维和抽象能力，更让我们对现代通信系统的本质有了深刻的理解。希望本书能够成为你们探索信息论世界的一个坚实起点，激发你们对这一领域的持续兴趣和深入研究。未来的通信世界，充满无限可能，期待你们用所学的知识，去创造更加美好的明天！✨
11. chapter 11： 附录 (Appendices)
本附录旨在为读者提供一些辅助性的背景知识和参考信息，以帮助更好地理解本书正文内容。附录涵盖了信息论中常用的数学工具回顾、主要定理的证明概要以及书中使用的符号列表。这些内容对于巩固基础、深入理解理论推导以及查阅符号定义都非常有益。
11.1 数学工具回顾 (Review of Mathematical Tools)
信息论，特别是多用户信息论，是一门高度数学化的学科。理解其核心概念和定理需要扎实的数学基础。本节简要回顾本书中频繁使用的数学工具。
⚝ 概率论与随机过程 (Probability Theory and Stochastic Processes)
▮▮▮▮⚝ 随机变量 (Random Variables)：离散型 (discrete) 和连续型 (continuous) 随机变量及其概率分布 (probability distributions)。
▮▮▮▮⚝ 概率质量函数 (Probability Mass Function, PMF) 和概率密度函数 (Probability Density Function, PDF)。
▮▮▮▮⚝ 联合分布 (Joint Distribution)、边缘分布 (Marginal Distribution) 和条件分布 (Conditional Distribution)。
▮▮▮▮⚝ 期望 (Expectation)、方差 (Variance) 和协方差 (Covariance)。
▮▮▮▮⚝ 随机变量的独立性 (Independence) 和条件独立性 (Conditional Independence)。
▮▮▮▮⚝ 大数定律 (Laws of Large Numbers) 和中心极限定理 (Central Limit Theorem)：在分析长序列行为和高斯信道时非常重要。
▮▮▮▮⚝ 随机过程 (Stochastic Processes)：虽然本书主要关注离散时间静态信道，但随机过程的概念（如平稳性 (stationarity) 和遍历性 (ergodicity)）在更广泛的信息论领域和信道建模中是基础。
⚝ 线性代数 (Linear Algebra)
▮▮▮▮⚝ 向量空间 (Vector Spaces) 和子空间 (Subspaces)。
▮▮▮▮⚝ 矩阵 (Matrices) 及其运算：加法、乘法、转置 (transpose)、共轭转置 (conjugate transpose)。
▮▮▮▮⚝ 行列式 (Determinant) 和矩阵的逆 (Inverse Matrix)。
▮▮▮▮⚝ 特征值 (Eigenvalues) 和特征向量 (Eigenvectors)。
▮▮▮▮⚝ 矩阵分解 (Matrix Decomposition)：如奇异值分解 (Singular Value Decomposition, SVD) 和特征分解 (Eigen Decomposition)。
▮▮▮▮⚝ 正定矩阵 (Positive Definite Matrices) 和半正定矩阵 (Positive Semi-Definite Matrices)：在高斯信道和多天线系统 (MIMO) 中处理协方差矩阵时至关重要。
⚝ 优化理论 (Optimization Theory)
▮▮▮▮⚝ 凸集 (Convex Sets) 和凸函数 (Convex Functions)。
▮▮▮▮⚝ 凸优化 (Convex Optimization)：许多容量计算问题可以转化为凸优化问题。
▮▮▮▮⚝ 拉格朗日乘子法 (Lagrange Multipliers)：用于解决带等式或不等式约束的优化问题。
▮▮▮▮⚝ Karush-Kuhn-Tucker (KKT) 条件：用于解决带不等式约束的优化问题。
⚝ 不等式 (Inequalities)
▮▮▮▮⚝ Jensen不等式 (Jensen's Inequality)：在信息论中用于证明信息度量的凸性/凹性，如 \(I(X;Y)\) 关于 \(p(x)\) 是凹的。
▮▮▮▮⚝ 数据处理不等式 (Data Processing Inequality)：信息不能通过本地处理而增加，即 \(I(X;Y) \ge I(X;g(Y))\)。
▮▮▮▮⚝ Fano不等式 (Fano's Inequality)：将错误概率与条件熵联系起来，是证明容量逆定理的重要工具。
▮▮▮▮⚝ Cauchy-Schwarz不等式 (Cauchy-Schwarz Inequality)。
▮▮▮▮⚝ AM-GM不等式 (Arithmetic Mean-Geometric Mean Inequality)。
⚝ 信息度量性质 (Properties of Information Measures)
▮▮▮▮⚝ 熵、联合熵、条件熵、互信息、条件互信息的非负性 (non-negativity)。
▮▮▮▮⚝ 链式法则 (Chain Rules)：如 \(H(X,Y) = H(X) + H(Y|X)\) 和 \(I(X;Y,Z) = I(X;Y) + I(X;Z|Y)\)。
▮▮▮▮⚝ 互信息的对称性 (symmetry)：\(I(X;Y) = I(Y;X)\)。
掌握这些数学工具将极大地帮助读者理解本书中涉及的定理证明和容量计算。
11.2 主要定理证明概要 (Outline of Major Theorem Proofs)
本节提供书中一些主要定理的证明思路或概要，旨在帮助读者把握证明的核心思想，而非提供完整的数学推导。完整的证明通常涉及更详细的典型性分析、概率界定和极限过程。
⚝ MAC 容量区域可达性证明概要 (Outline of MAC Capacity Region Achievability Proof)
▮▮▮▮⚝ 核心思想： 利用联合典型性解码 (Joint Typicality Decoding)。
▮▮▮▮⚝ 编码 (Encoding)：
▮▮▮▮▮▮▮▮❶ 对于用户1，随机独立地生成 \(2^{nR_1}\) 个码字 \(X_1^n(m_1)\)， \(m_1 \in \{1, \dots, 2^{nR_1}\}\)，每个码字的元素独立同分布 (i.i.d.) 遵循 \(p(x_1)\)。
▮▮▮▮▮▮▮▮❷ 对于用户2，随机独立地生成 \(2^{nR_2}\) 个码字 \(X_2^n(m_2)\)， \(m_2 \in \{1, \dots, 2^{nR_2}\}\)，每个码字的元素独立同分布遵循 \(p(x_2)\)。
▮▮▮▮▮▮▮▮❸ 假设用户1要发送消息 \(m_1\)，用户2要发送消息 \(m_2\)。他们分别发送码字 \(X_1^n(m_1)\) 和 \(X_2^n(m_2)\)。
▮▮▮▮▮▮▮▮❹ 信道输出为 \(Y^n\)，其分布由 \(p(y|x_1, x_2)\) 决定。
▮▮▮▮⚝ 解码 (Decoding)：
▮▮▮▮▮▮▮▮❶ 接收端收到 \(Y^n\)。
▮▮▮▮▮▮▮▮❷ 解码器寻找一对消息 \((m_1', m_2')\) 使得码字对 \((X_1^n(m_1'), X_2^n(m_2'))\) 与接收到的 \(Y^n\) 是联合典型 (jointly typical) 的，即 \((X_1^n(m_1'), X_2^n(m_2'), Y^n) \in A_\epsilon^{(n)}\)。
▮▮▮▮▮▮▮▮❸ 如果只找到唯一一对这样的 \((m_1', m_2')\)，则解码器输出 \((m_1', m_2')\)。否则，宣布解码错误。
▮▮▮▮⚝ 错误概率分析 (Error Probability Analysis)：
▮▮▮▮▮▮▮▮❶ 错误发生的情况：发送的 \((m_1, m_2)\) 对应的 \((X_1^n(m_1), X_2^n(m_2), Y^n)\) 不是联合典型的（概率趋于0）；或者存在其他 \((m_1', m_2') \ne (m_1, m_2)\) 使得 \((X_1^n(m_1'), X_2^n(m_2'), Y^n)\) 是联合典型的。
▮▮▮▮▮▮▮▮❷ 利用渐近等分性 (AEP) 和典型集的性质，可以证明当 \(n \to \infty\) 时，如果速率 \((R_1, R_2)\) 满足 \(R_1 < I(X_1; Y|X_2)\)， \(R_2 < I(X_2; Y|X_1)\)， \(R_1 + R_2 < I(X_1, X_2; Y)\)，则错误概率可以任意小。
▮▮▮▮▮▮▮▮❸ 通过时分多址 (TDMA) 或频分多址 (FDMA) 可以达到 \(R_1 < I(X_1; Y)\) 和 \(R_2 < I(X_2; Y)\) 的区域。联合典型性解码结合随机编码可以达到更大的区域，其边界由 \(I(X_1; Y|X_2)\), \(I(X_2; Y|X_1)\), \(I(X_1, X_2; Y)\) 决定。
▮▮▮▮▮▮▮▮❹ 通过对输入分布 \(p(x_1, x_2)\) 进行优化（通常是 \(p(x_1)p(x_2)\)），可以得到容量区域。
⚝ MAC 容量区域逆定理证明概要 (Outline of MAC Capacity Region Converse Proof)
▮▮▮▮⚝ 核心思想： 利用 Fano不等式和信息度量的链式法则及性质。
▮▮▮▮⚝ 考虑一个速率对 \((R_1, R_2)\) 是可达的，即存在一系列码长为 \(n\) 的编码方案，使得最大错误概率趋于0。
▮▮▮▮⚝ 利用 Fano不等式，错误概率趋于0意味着解码器输出的消息 \(\hat{M}_1, \hat{M}_2\) 与发送的消息 \(M_1, M_2\) 之间的条件熵趋于0，即 \(H(M_1|\hat{M}_1) \to 0\) 和 \(H(M_2|\hat{M}_2) \to 0\)。
▮▮▮▮⚝ 考虑速率 \(R_1\):
\[ nR_1 = H(M_1) = I(M_1; \hat{M}_1) + H(M_1|\hat{M}_1) \approx I(M_1; \hat{M}_1) \]
\[ I(M_1; \hat{M}_1) \le I(M_1; Y^n) \quad \text{(数据处理不等式)} \]
\[ I(M_1; Y^n) = \sum_{i=1}^n I(M_1; Y_i | Y^{i-1}) \]
\[ I(M_1; Y_i | Y^{i-1}) \le I(M_1, X_2^n; Y_i | Y^{i-1}) \quad \text{(链式法则和非负性)} \]
\[ I(M_1, X_2^n; Y_i | Y^{i-1}) = I(X_2^n; Y_i | Y^{i-1}) + I(M_1; Y_i | Y^{i-1}, X_2^n) \]
\[ I(M_1; Y_i | Y^{i-1}, X_2^n) \le I(M_1, X_1^n; Y_i | Y^{i-1}, X_2^n) \quad \text{(链式法则和非负性)} \]
\[ I(M_1, X_1^n; Y_i | Y^{i-1}, X_2^n) = I(X_1^n; Y_i | Y^{i-1}, X_2^n) + I(M_1; Y_i | Y^{i-1}, X_2^n, X_1^n) \]
由于 \(Y_i\) 只依赖于 \(X_{1,i}, X_{2,i}\) 和信道噪声，给定 \(X_{1,i}, X_{2,i}\)，\(Y_i\) 与 \((M_1, X_1^{i-1}, X_1^{i+1..n}, X_2^{i-1}, X_2^{i+1..n}, Y^{i-1})\) 条件独立。因此 \(I(M_1; Y_i | Y^{i-1}, X_2^n, X_1^n) = I(M_1; Y_i | Y^{i-1}, X_2^n, X_1^n, X_{1,i}, X_{2,i})\).
对于 MAC，\(Y_i\) 的分布只依赖于 \(X_{1,i}\) 和 \(X_{2,i}\)，即 \(p(y_i|x_{1,i}, x_{2,i})\)。
\[ I(M_1; Y_i | Y^{i-1}, X_2^n, X_1^n) \le I(X_{1,i}; Y_i | X_{2,i}) \]
将这些不等式结合并对 \(i\) 求和，利用 \(I(X_1^n; Y^n|X_2^n) = \sum I(X_{1,i}; Y_i|X_{2,i}, Y^{i-1}, X_2^n)\) 等性质，并引入辅助随机变量 \(Q\) (通常是时间索引 \(i\)) 进行时平均，最终可以得到速率必须满足的边界：
\[ R_1 \le I(X_1; Y|X_2) \]
\[ R_2 \le I(X_2; Y|X_1) \]
\[ R_1 + R_2 \le I(X_1, X_2; Y) \]
这些互信息是关于某个联合分布 \(p(x_1, x_2, y)\) 计算的，其中 \(p(y|x_1, x_2)\) 是信道转移概率，\(p(x_1, x_2)\) 是输入分布。通过对所有可能的输入分布取上确界，得到容量区域。
⚝ 退化广播信道容量区域可达性证明概要 (Outline of Degraded BC Capacity Region Achievability Proof)
▮▮▮▮⚝ 核心思想： 叠加编码 (Superposition Coding)。
▮▮▮▮⚝ 退化条件 (Degraded Condition)： 存在一个马尔可夫链 \(X \to Y_1 \to Y_2\)，其中 \(Y_1\) 是“强”用户接收到的信号，\(Y_2\) 是“弱”用户接收到的信号。
▮▮▮▮⚝ 编码 (Encoding)：
▮▮▮▮▮▮▮▮❶ 发送端为弱用户生成 \(2^{nR_2}\) 个“弱”码字 \(X_w^n(m_2)\)， \(m_2 \in \{1, \dots, 2^{nR_2}\}\)， i.i.d. 遵循 \(p(x_w)\)。
▮▮▮▮▮▮▮▮❷ 对于每个弱码字 \(X_w^n(m_2)\)，为其生成 \(2^{nR_1}\) 个“强”码字 \(X_s^n(m_1|m_2)\)， \(m_1 \in \{1, \dots, 2^{nR_1}\}\)， i.i.d. 遵循 \(p(x_s|x_w)\)。
▮▮▮▮▮▮▮▮❸ 实际发送的码字 \(X^n\) 是 \(X_w^n(m_2)\) 和 \(X_s^n(m_1|m_2)\) 的叠加或组合，其联合分布遵循 \(p(x) = p(x_s|x_w)p(x_w)\)。
▮▮▮▮⚝ 解码 (Decoding)：
▮▮▮▮▮▮▮▮❶ 弱用户 (User 2)： 接收到 \(Y_2^n\)。它试图直接解码出弱用户消息 \(m_2\)。它寻找一个 \(m_2'\) 使得 \(X_w^n(m_2')\) 与 \(Y_2^n\) 是联合典型的。由于 \(X_w \to X \to Y_1 \to Y_2\) 是马尔可夫链，\(I(X_w; Y_2)\) 决定了弱用户能达到的速率。
▮▮▮▮▮▮▮▮❷ 强用户 (User 1)： 接收到 \(Y_1^n\)。它首先解码出弱用户消息 \(m_2\) (因为 \(Y_1\) 比 \(Y_2\) 强，如果弱用户能解，强用户也能解)。然后，在已知 \(m_2\) 的条件下，它寻找一个 \(m_1'\) 使得 \(X_s^n(m_1'|m_2)\) 与 \(Y_1^n\) 是条件联合典型的 (conditioned on \(X_w^n(m_2)\))。这相当于在一个以 \(X_w^n(m_2)\) 为干扰的信道上解码 \(X_s^n(m_1|m_2)\)，其速率由 \(I(X_s; Y_1|X_w)\) 决定。
▮▮▮▮⚝ 容量区域： 可达速率对 \((R_1, R_2)\) 满足 \(R_2 \le I(X_w; Y_2)\) 和 \(R_1 \le I(X_s; Y_1|X_w)\)，其中 \(X_w, X_s\) 的联合分布为 \(p(x_w, x_s)\)，且 \(X\) 是 \(X_w, X_s\) 的函数，\(X \to Y_1 \to Y_2\) 构成马尔可夫链。通过对所有满足条件的 \(p(x_w, x_s)\) 取并集，得到容量区域。
⚝ 割集界概要 (Outline of Cut-Set Bound)
▮▮▮▮⚝ 核心思想： 信息流通过网络中的任何“割集”的速率不能超过该割集的容量。
▮▮▮▮⚝ 定义： 考虑一个网络，源节点集合为 \(\mathcal{S}\)，目的节点集合为 \(\mathcal{D}\)。一个割集是将节点集合 \(\mathcal{V}\) 分成两个不相交的集合 \(\mathcal{A}\) 和 \(\mathcal{A}^c = \mathcal{V} \setminus \mathcal{A}\)，其中 \(\mathcal{S} \subseteq \mathcal{A}\) 且 \(\mathcal{D} \cap \mathcal{A}^c \ne \emptyset\)。割集容量是跨越 \(\mathcal{A}\) 和 \(\mathcal{A}^c\) 的所有信道的容量之和（或更复杂的形式，考虑多终端信息流）。
▮▮▮▮⚝ 证明思路： 考虑从 \(\mathcal{S}\) 发送给 \(\mathcal{D}\) 的总信息量。这些信息必须通过连接 \(\mathcal{A}\) 和 \(\mathcal{A}^c\) 的信道。利用信息论的链式法则和数据处理不等式，可以证明总的信息速率受到割集容量的限制。例如，对于一个单源单目的网络，任何将源与目的分开的割集，其容量都构成了对可达速率的上界。对于多用户网络，需要考虑多终端信息流的割集界。
这些概要提供了理解定理证明骨架的起点。详细的证明通常需要对典型性引理、概率不等式和极限论有深入的理解。
11.3 符号列表 (List of Symbols)
本书中使用的主要符号及其定义如下表所示。请注意，某些符号在不同上下文中可能有略微不同的含义，具体取决于其出现的章节和公式。
⚝ 集合与空间 (Sets and Spaces)
▮▮▮▮⚝ \(\mathcal{X}, \mathcal{Y}, \mathcal{Z}\)：随机变量 \(X, Y, Z\) 的取值字母表 (alphabets)。
▮▮▮▮⚝ \(\mathbb{R}\)：实数集 (set of real numbers)。
▮▮▮▮⚝ \(\mathbb{C}\)：复数集 (set of complex numbers)。
▮▮▮▮⚝ \(\mathbb{R}^n, \mathbb{C}^n\): \(n\) 维实向量空间、复向量空间。
▮▮▮▮⚝ \(\mathcal{V}\)：网络中的节点集合 (set of nodes)。
▮▮▮▮⚝ \(\mathcal{E}\)：网络中的边集合 (set of edges)。
▮▮▮▮⚝ \(\mathcal{S}\)：源节点集合 (set of source nodes)。
▮▮▮▮⚝ \(\mathcal{D}\)：目的节点集合 (set of destination nodes)。
▮▮▮▮⚝ \(A_\epsilon^{(n)}\)：\(\epsilon\)-典型集 (\(\epsilon\)-typical set)。
⚝ 概率与信息度量 (Probability and Information Measures)
▮▮▮▮⚝ \(X, Y, Z, \dots\): 随机变量 (random variables)。
▮▮▮▮⚝ \(x, y, z, \dots\): 随机变量的取值 (realizations)。
▮▮▮▮⚝ \(p(x)\) 或 \(P(X=x)\)：随机变量 \(X\) 取值为 \(x\) 的概率 (probability)。
▮▮▮▮⚝ \(p(x, y)\) 或 \(P(X=x, Y=y)\)：随机变量 \(X, Y\) 的联合概率 (joint probability)。
▮▮▮▮⚝ \(p(x|y)\) 或 \(P(X=x|Y=y)\)：随机变量 \(X\) 在给定 \(Y=y\) 下的条件概率 (conditional probability)。
▮▮▮▮⚝ \(p(x_1, \dots, x_n)\)：序列 \(x_1, \dots, x_n\) 的联合概率。
▮▮▮▮⚝ \(H(X)\)：随机变量 \(X\) 的熵 (entropy)。
\[ H(X) = -\sum_x p(x) \log p(x) \]
▮▮▮▮⚝ \(H(X|Y)\)：随机变量 \(X\) 在给定 \(Y\) 下的条件熵 (conditional entropy)。
\[ H(X|Y) = \sum_y p(y) H(X|Y=y) = -\sum_{x,y} p(x,y) \log p(x|y) \]
▮▮▮▮⚝ \(H(X, Y)\)：随机变量对 \((X, Y)\) 的联合熵 (joint entropy)。
\[ H(X, Y) = -\sum_{x,y} p(x,y) \log p(x,y) \]
▮▮▮▮⚝ \(I(X; Y)\)：随机变量 \(X\) 和 \(Y\) 之间的互信息 (mutual information)。
\[ I(X; Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X) + H(Y) - H(X,Y) \]
▮▮▮▮⚝ \(I(X; Y|Z)\)：随机变量 \(X\) 和 \(Y\) 在给定 \(Z\) 下的条件互信息 (conditional mutual information)。
\[ I(X; Y|Z) = H(X|Z) - H(X|Y,Z) \]
▮▮▮▮⚝ \(D(p||q)\)：概率分布 \(p\) 相对于 \(q\) 的 Kullback-Leibler (KL) 散度 (divergence)。
\[ D(p||q) = \sum_x p(x) \log \frac{p(x)}{q(x)} \]
⚝ 信道与容量 (Channels and Capacity)
▮▮▮▮⚝ \(p(y|x)\)：单用户信道的转移概率 (channel transition probability)。
▮▮▮▮⚝ \(p(y|x_1, x_2, \dots, x_K)\)：多用户信道的转移概率。
▮▮▮▮⚝ \(C\): 单用户信道容量 (channel capacity)。
\[ C = \max_{p(x)} I(X;Y) \]
▮▮▮▮⚝ \(\mathcal{C}\): 多用户信道的容量区域 (capacity region)。
▮▮▮▮⚝ \(R, R_1, R_2, \dots\): 通信速率 (rates)。
▮▮▮▮⚝ \(n\): 码长 (block length)。
▮▮▮▮⚝ \(P\): 功率约束 (power constraint)。
▮▮▮▮⚝ \(N_0\): 噪声功率谱密度 (noise power spectral density)。
▮▮▮▮⚝ \(Z, N\): 噪声随机变量 (noise random variable)。
▮▮▮▮⚝ \(h\): 信道增益 (channel gain) 或信道系数 (channel coefficient)。
▮▮▮▮⚝ \(H\): 信道矩阵 (channel matrix) (常用于 MIMO)。
▮▮▮▮⚝ DoF: 自由度 (Degrees of Freedom)。
⚝ 特定信道模型 (Specific Channel Models)
▮▮▮▮⚝ MAC: 多址接入信道 (Multiple Access Channel)。
▮▮▮▮⚝ BC: 广播信道 (Broadcast Channel)。
▮▮▮▮⚝ IC: 干扰信道 (Interference Channel)。
▮▮▮▮⚝ RC: 中继信道 (Relay Channel)。
▮▮▮▮⚝ TWC: 双向信道 (Two-Way Channel)。
▮▮▮▮⚝ CSC: 带有状态信息的信道 (Channel with State Information)。
▮▮▮▮⚝ CF: 带有反馈的信道 (Channel with Feedback)。
▮▮▮▮⚝ DPC: 脏纸编码 (Dirty Paper Coding)。
▮▮▮▮⚝ DF: 解码转发 (Decode-and-Forward)。
▮▮▮▮⚝ AF: 放大转发 (Amplify-and-Forward)。
▮▮▮▮⚝ CF: 压缩转发 (Compress-and-Forward)。
▮▮▮▮⚝ MIMO: 多输入多输出 (Multiple-Input Multiple-Output)。
▮▮▮▮⚝ NOMA: 非正交多址接入 (Non-Orthogonal Multiple Access)。
⚝ 其他 (Others)
▮▮▮▮⚝ \(\log(\cdot)\): 通常指以2为底的对数 (logarithm base 2)，单位为比特 (bits)。在连续变量情况下，有时指以 \(e\) 为底的对数 (natural logarithm)，单位为奈特 (nats)。本书中如无特别说明，默认为比特。
▮▮▮▮⚝ \(E[\cdot]\): 期望 (expectation)。
▮▮▮▮⚝ \(Var(\cdot)\): 方差 (variance)。
▮▮▮▮⚝ \(Cov(\cdot, \cdot)\): 协方差 (covariance)。
▮▮▮▮⚝ \(p(x^n)\): 序列 \(x^n = (x_1, \dots, x_n)\) 的概率。
▮▮▮▮⚝ \(X^n\): 随机序列 \(X^n = (X_1, \dots, X_n)\)。
▮▮▮▮⚝ \(\xrightarrow{p}\): 依概率收敛 (convergence in probability)。
▮▮▮▮⚝ \(\xrightarrow{a.s.}\): 几乎处处收敛 (almost sure convergence)。
▮▮▮▮⚝ \(\xrightarrow{d}\): 分布收敛 (convergence in distribution)。
这个列表并非详尽无遗，但包含了本书中最常用和关键的符号。在阅读过程中遇到不熟悉的符号时，可以查阅此列表。
12. chapter 12： 参考文献 (References)
本章列出了撰写本书时参考的主要文献，包括信息论领域的经典著作、多用户信息论的重要研究论文以及其他相关资料。这些文献为本书提供了坚实的理论基础和丰富的研究视角。读者可以根据自己的兴趣和需求，进一步查阅这些文献，以深入理解多用户信息论的各个方面。
12.1 经典著作与教材 (Classic Books and Textbooks)
本节列出了一些信息论和多用户信息论领域的经典著作和常用教材。这些书籍系统地介绍了信息论的基本概念、理论框架和主要结果，是学习和研究信息论不可或缺的资源。
① Cover, Thomas M., and Joy A. Thomas. 《信息论基础》(Elements of Information Theory). Wiley-Interscience, 2006.
▮▮▮▮⚝ 这是信息论领域最经典、最权威的教材之一，全面覆盖了单用户和多用户信息论的基础知识。
▮▮▮▮⚝ 对于初学者和专家都具有极高的参考价值。
② Gallager, Robert G. 《信息论与可靠通信》(Information Theory and Reliable Communication). John Wiley & Sons, 1968.
▮▮▮▮⚝ 虽然年代较早，但这本书对信息论的许多基本概念和定理（如互信息、信道编码）的阐述依然深刻且具有启发性。
③ El Gamal, Abbas, and Young-Han Kim. 《网络信息论》(Network Information Theory). Cambridge University Press, 2011.
▮▮▮▮⚝ 这本书专注于网络信息论，系统地介绍了多用户信道和信息网络中的容量理论，是研究多用户和网络信息论的现代经典。
④ Tse, David, and Pramod Viswanath. 《无线通信基础》(Fundamentals of Wireless Communication). Cambridge University Press, 2005.
▮▮▮▮⚝ 这本书从信息论的角度深入分析了无线通信系统的容量和性能，特别是多天线 (MIMO) 和多用户场景。
⑤ Han, Te Sun. 《信息频谱方法》(Information-Spectrum Methods in Information Theory). Springer, 2003.
▮▮▮▮⚝ 这本书介绍了一种处理非平稳、非遍历信源和信道的信息论方法，对理解更一般的信息论问题有帮助。
12.2 重要研究论文 (Important Research Papers)
本节列出了一些在多用户信息论发展史上具有里程碑意义的重要研究论文。这些论文首次提出了关键概念、定理或证明方法，极大地推动了该领域的发展。
① Ahlswede, Rudolf. "Multi-way communication channels." In 《信息论第二届国际研讨会论文集》(Proceedings of the 2nd International Symposium on Information Theory), pp. 23-52. Akademiai Kiado, 1973.
▮▮▮▮⚝ 这篇论文首次定义了多址接入信道 (MAC) 和广播信道 (BC)，并给出了 MAC 的容量区域。
② Cover, Thomas M. "Broadcast channels." 《信息论IEEE汇刊》(IEEE Transactions on Information Theory) 18, no. 1 (1972): 2-14.
▮▮▮▮⚝ 这篇论文首次系统地研究了广播信道 (BC)，并给出了退化广播信道 (Degraded Broadcast Channel) 的容量区域。
③ Bergmans, Patrick PP. "A simple converse for broadcast channels with additive white Gaussian noise." 《信息论IEEE汇刊》(IEEE Transactions on Information Theory) 20, no. 2 (1974): 279-280.
▮▮▮▮⚝ 提供了高斯退化广播信道容量区域的简单逆定理证明。
④ Costa, Max HS. "Writing on dirty paper (corresp.)." 《信息论IEEE汇刊》(IEEE Transactions on Information Theory) 29, no. 3 (1983): 439-441.
▮▮▮▮⚝ 提出了著名的脏纸编码 (Dirty Paper Coding, DPC) 概念，证明了在已知干扰的情况下，干扰对信道容量没有影响。
⑤ Han, Te Sun, and Kingo Kobayashi. "A new achievable rate region for the interference channel." 《信息论IEEE汇刊》(IEEE Transactions on Information Theory) 27, no. 1 (1981): 49-60.
▮▮▮▮⚝ 提出了干扰信道 (IC) 的 Han-Kobayashi 可达区域 (Han-Kobayashi Achievable Region)，这是目前已知最广泛的 IC 可达区域。
⑥ Cover, Thomas M., and Abbas El Gamal. "Capacity theorems for the relay channel." 《信息论IEEE汇刊》(IEEE Transactions on Information Theory) 25, no. 3 (1979): 321-334.
▮▮▮▮⚝ 首次系统地研究了中继信道 (Relay Channel)，并提出了割集界 (Cut-Set Bound) 和解码转发 (Decode-and-Forward, DF) 可达方案。
⑦ Ahlswede, Rudolf, Ning Cai, Shuo-Yen Robert Li, and Raymond W. Yeung. "Network information flow." 《信息论IEEE汇刊》(IEEE Transactions on Information Theory) 46, no. 4 (2000): 1204-1216.
▮▮▮▮⚝ 这篇论文奠定了网络编码 (Network Coding) 的理论基础，证明了在多播网络中，网络编码可以达到最大流容量。
12.3 其他参考资料 (Other References)
本节列出了一些其他可能对读者有帮助的参考资料，例如特定主题的综述文章、在线课程资源或相关领域的书籍。
⚝ 《信息论前沿研究综述》(Review articles on cutting-edge research in information theory).
▮▮▮▮⚝ 读者可以查阅 IEEE Transactions on Information Theory 等顶级期刊上关于认知无线电 (Cognitive Radio)、物理层安全 (Physical Layer Security)、大规模 MIMO (Massive MIMO)、非正交多址接入 (NOMA) 等主题的最新综述文章。
⚝ 在线课程资料 (Online course materials).
▮▮▮▮⚝ 许多大学（如斯坦福大学、麻省理工学院等）提供信息论和网络信息论的在线课程，其讲义和视频是很好的补充学习资源。
⚝ 相关领域的书籍 (Books in related fields).
▮▮▮▮⚝ 例如，关于无线通信、信号处理、编码理论等领域的书籍，有助于读者将信息论理论与实际应用相结合。