SentiLink公司的数据科学家塞思·韦德曼（Seth Weidman）在技术写作领域表现出色，他以清晰明了的解释方式剖析复杂的概念而闻名。除了在Facebook担任数据科学家，他还专长于深度学习培训课程的开发，为多家企业定制相关课程。此外，塞思热衷于分享知识，创作了大量的PyTorch教程，旨在引导读者深入理解并应用这一强大的机器学习框架。

<p>本书全面介绍了深度学习知识，借助数学公式、示意图和代码，旨在帮助读者从数学层面、概念层面和应用层面理解神经网络。读者可以跟随本书构建和训练神经网络模型，从而解决实际问题。另外，本书着重介绍卷积神经网络和循环神经网络，并提供PyTorch开源神经网络库的使用方法，有助于学习构建更高级的神经网络架构。</p>

O'Reilly Media, Inc. 是一家致力于分享创新知识并推动世界进步的公司。他们通过在线学习平台提供专业培训、图书和视频，帮助用户掌握未来技术。O'Reilly 图书被公认为学习前沿科技的权威资源，而举办的会议则汇聚行业专家，促进交流与发现新趋势。公司的目标是支持那些渴望创新改变世界的客户。业界对O'Reilly 的评价很高，认可其在科技领域的影响力和独特视角。



O'Reilly Media, Inc. 介绍

深度学习在互联网行业的重要性，它是人工智能领域的热门研究方向，广泛应用于多元化搜索、数据挖掘等领域。本书通过讲解神经网络的理论基础、构建深度学习模型的实践过程，以及使用PyTorch框架实现具体应用，提供了一种系统学习深度学习的方法。作者塞思•韦德曼以清晰易懂的方式解释复杂概念，使读者能从入门逐渐精通。虽然翻译可能存在不足，但内容的深度和广度展现了作者的独特见解。



译者序

神经网络基本概念章节的重心在于阐明理解神经网络运行机制的关键思维工具。这些工具包括嵌套数学函数及其导数，并通过数学表达、图形展示和代码实践三个层面进行深入讲解。首先，章节定义了函数的概念并阐述其作用的不同描述方式；其次，解释导数的意义，特别强调在深度学习中作为“变化率”的关键角色；然后，详细剖析嵌套函数如何组成复合函数，以及运用链式法则来计算这类复杂函数的导数。

通过数学公式、图表实例和代码演示，章节逐步引导读者掌握这些抽象概念，并说明它们在神经网络中的应用。举例展示了两个函数链（chain_1 和 chain_2）及其图像和导数图，验证了当函数斜率为正时导数为正，负时为负，零时为零的链式法则有效性。

章节进一步详述如何运用数学公式、图形和代码理解并计算包含三个基本可微函数的复合函数的导数。通过实例演示手动执行过程，并解释在代码中设置断言以确保矩阵乘法正确性的必要性。此外，讨论了基于现有特征创建新特征的过程，涉及向量点积（矩阵乘法的一个特殊案例），以及如何通过链式法则计算梯度，确保深度学习模型的训练能力。

神经网络处理数据时，利用矩阵乘法将输入数据与权重相乘产生新的输出，然后传递给如sigmoid函数等可微函数进行进一步处理。为了优化模型，需要计算最终结果对输入参数的梯度。链式法则在此过程中至关重要，它允许我们逐步计算每个中间步骤的导数并组合起来，即使面对矩阵乘法等复杂运算，也能确保深度学习模型的训练效率。

总之，章节内容旨在通过直观和实践的方式，让读者理解神经网络中的关键数学概念，并掌握如何应用这些工具来构建和优化深度学习模型。

第 1 章 基本概念

监督学习是机器学习的一个分支，它研究如何从标记数据中识别模式。线性回归，作为监督学习算法的一种，用于探索一个或多个特征与单一连续输出变量之间的关系。通过这种方法，我们可以预测如房价或股市走势等连续值。

线性回归模型的训练过程涉及两个主要步骤：前向传播和后向传播。首先，我们使用输入数据（特征）经过权重调整的线性函数进行计算，这可以看作是模型对输出的初步预测。然后，通过一个激活函数，如sigmoid函数，将结果转换为0到1之间的值，以适应二分类问题。对于回归问题，我们通常不使用这样的激活函数。

前向传播计算出预测值后，我们会用真实标签与预测值比较，计算损失（误差）。后向传播阶段，我们利用链式法则来追踪损失对模型参数的影响，进而更新权重，使得模型的预测更接近实际结果。这个过程通常通过反向传播算法和优化器（如梯度下降）实现。

然而，线性回归在处理非线性关系时可能力不从心。这时，神经网络作为更为强大的工具，就能大显身手。神经网络由多层节点构成，每一层都执行一次前向传播和后向传播。其中，隐藏层可以应用非线性函数（如ReLU），使得模型能够捕捉更复杂的输入输出关系。

此外，神经网络的另一个优势是它能学习到原始特征的组合，生成新的“已学习特征”。这些新特征可能代表了数据中未明示但对预测有用的模式。通过这种方式，神经网络可以提升其在处理非线性问题和复杂数据集时的表现，相比线性回归更适应实际应用中的挑战。

总结来说，监督学习尤其是线性回归为我们提供了一种从标记数据中提取规律的方法。然而，面对非线性关系时，神经网络凭借其非线性函数和特征组合的能力，通常能提供更准确的预测，使其在许多现实问题上优于线性回归模型。

第 2 章 基本原理

深度学习模型构建基于数学原理，理解神经网络的关键在于矩阵乘法、损失函数与偏导数。通过Python类如Operation和ParamOperation表示神经网络结构，负责前向传播和反向传播的计算。层是线性运算加非线性运算的组合，决定模型深度，隐藏层有助于捕捉复杂关系。特定Operation类如WeightMultiply、BiasAdd和Sigmoid构建简单模型并训练拟合数据。层（Layer）初始化包括参数与操作定义，在前向传播中设置输入输出，反向传播计算梯度更新参数。Dense层根据神经元数量和激活函数设定权重偏置。损失（Loss）类衡量预测值与目标差异，提供反向传播所需梯度。

神经网络由层组成，每层含一系列操作，负责特定数学计算，确保输入输出形状匹配。批量训练将数据分批处理，计算损失、反向传播并更新参数。优化器和训练器类管理模型训练过程，支持不同学习规则与数据策略。实验表明，初始线性回归模型效果一般，但通过增加神经网络隐藏层和神经元数量，平均绝对误差和均方根误差降低，性能提升明显。即使添加与第一层相同维度的隐藏层，深度学习模型也能实现更优预测，验证其在实际问题中的有效性。作者鼓励探索新操作类和激活函数以优化模型性能。

第 3 章 从零开始深度学习

sigmoid函数作为神经网络的激活函数，具备非线性及正则化特性。然而，在反向传播中，其梯度可能趋于平缓，对神经网络的学习速度造成影响。ReLU和Tanh是其他选择：ReLU在正数区域产生较大梯度，但负数区域梯度为零；而Tanh的输出范围限定在-1到1之间，平均梯度大于sigmoid。因此，在选取激活函数时，需要权衡非线性与模型复杂性的平衡。

在实验中，作者使用了Tanh作为激活函数，并获得了72.58%的验证准确率。为了探究损失函数对学习速度的影响，作者将softmax交叉熵损失函数引入模型。这一改变使得验证准确度显著提升至91.01%，证明陡峭梯度有助于提高模型准确性。尽管均方误差损失在输入归一化后表现不如softmax交叉熵，但它仍具有其独特价值。

动量是权重更新中的一个重要概念，它借鉴了物体运动的原理，通过加权平均过去时间步长的参数更新，优化参数调整效果。当作者采用带有动量的反向传播算法时，模型的性能得到进一步提升，验证准确率再次提高。这表明，动量在防止过拟合和加速收敛方面具有积极作用。

为了应对深度学习模型中可能的过拟合问题，dropout技术被引入实验。在训练阶段，dropout通过随机“关闭”一部分神经元，增强模型的泛化能力。而在预测或推理模式下，所有值会被乘以保持概率（keep_prob），确保模型的表现最佳。实验结果显示，dropout显著降低了损失并提升了验证准确率，特别是在深度学习模型中，它是防止过拟合的关键策略。

总的来说，通过选择合适的激活函数、优化损失函数和利用正则化技术如dropout，可以有效提升神经网络的性能和泛化能力。这些方法在处理不同类型的数据和复杂模型时，都显示出其重要性和实用性。

第 4 章 扩展

卷积神经网络（CNN）在深度学习中扮演着重要角色，尤其适用于图像处理。与全连接层不同，卷积层通过检测输入图像特定位置的视觉模式组合，而非所有像素值的线性组合，来提取特征。这一过程利用了局部感受野和权值共享，减少了参数量，提升了模型效率。

在构建CNN时，多通道卷积层是关键组件。它允许网络处理包含多个通道（如RGB图像的红、绿、蓝三个颜色通道）的数据。每个输入通道都会与一组过滤器进行卷积操作，生成对应的输出特征图。所有输入通道的卷积结果会被组合在一起，形成最终的输出。

为了保持输入和输出在卷积后的尺寸一致，可能会使用填充。填充是在数据的边缘添加额外元素，使得经过卷积后，数据的维度不会改变。这种技术在实现多通道卷积运算时尤为关键，确保了不同通道的数据能够正确地进行卷积操作。

前向传播过程中，输入数据会先经过填充，然后与过滤器进行卷积计算，得到输出特征图。而在反向传播阶段，为了计算输入梯度和过滤器梯度，需要对输出梯度进行再次填充。对于每个观测值，独立计算输入梯度后堆叠结果；而过滤器梯度的计算则涉及到遍历所有观测值，累加参数的梯度值。

除了卷积操作，CNN通常还会结合其他层来构建完整的模型。例如，Flatten层用于将多维特征图展平为一维向量，以便后续全连接层进行处理。在实际应用中，可能会对网络结构、学习率等进行调整，以优化模型性能。

通过实验，我们可以验证即使使用基础的卷积运算实现，也能在如MNIST数据集这样的任务上训练出具有较高准确率的CNN模型。这展示了CNN的核心计算能力，以及其在处理图像类数据时的强大表现。

总的来说，卷积神经网络利用局部感受野、权值共享和多通道卷积等特性，有效处理图像信息，减少参数量，提高计算效率。通过构建包含前向传播、反向传播的卷积层，并与其他操作如Flatten结合，可以构建出完整的CNN模型，实现对复杂数据集的高效学习。

第 5 章 CNN

循环神经网络（RNN）是一种专为处理数据序列而设计的神经网络架构。与传统神经网络不同，RNN能够捕捉和理解数据之间的顺序关系，如时间序列或自然语言。为了适应有序数据的处理，输入数据格式、网络结构以及使用的计算框架都需要相应的调整。

传统的框架在处理运算中重复利用的部分时会遇到问题，这导致后向传播无法按照正确的顺序执行梯度计算。为解决这一挑战，自动微分的概念被引入。自动微分通过让数据本身追踪并累积运算过程中产生的梯度，避免了手动组合梯度的复杂性。这种方法不仅更为优雅、灵活，而且在训练某些复杂的神经网络时能展现更高的效率。

在RNN中，前向传播过程遵循时间步和层序规则。数据按顺序流经多个时间步长和网络层，每个节点不仅生成预测值，还会将隐藏状态传递给下一层。后向传播则与前向传播相反，梯度按照输入的逆序流过网络，更新权重。RNNLayer在反向传播中累积权重梯度，这是它区别于常规神经网络层的关键点。

处理序列数据时，RNN通过时间步遍历输入特征，并结合上一时刻的隐藏状态传递给节点。节点内部执行加权求和、激活函数等运算，生成新的输出和更新后的隐藏状态。为了适应不同批次的数据，初始隐藏状态通常会被复制为固定形状的数组。

RNNLayer的backward方法负责误差的反向传播，从最后一个时间步开始向前传递梯度，通过调用每个节点的backward方法计算输入特征对损失的梯度。这个过程遵循链式法则，逐层累乘导数。文中还介绍了其他RNN变体，如门控循环单元（GRU）和长短期记忆网络（LSTM），它们在隐藏状态更新机制上有所差异，例如LSTM通过额外维护一个单元状态来处理长期依赖。

然而，RNN在处理依赖关系时，特别是长序列中的问题，如梯度消失和爆炸，存在局限性。为解决这些问题，出现了GRU和LSTM两种改进方法。GRU通过门控机制学习何时更新或重置隐藏状态；而LSTM则使用更复杂的单元状态来控制信息的遗忘和更新，并有额外的门控机制管理状态流动。

RNN在数据序列处理方面应用广泛，特别是在语言建模任务中。字符序列首先通过独热编码转换为二维数组输入到RNN进行训练。此外，可以混合不同类型的RNN层以适应特定任务需求。文中还提供了一个实例，展示如何使用RNN模仿特定风格（如莎士比亚）书写文本，并详述了预处理步骤和损失反向传播中的权重更新方法。

第 6 章 RNN

PyTorch是一款流行的神经网络框架，它利用自动微分技术，使得构建和训练CNN及RNN等模型更为高效。通过理解神经网络的工作原理，并结合Layer类和Trainer类的使用，可以方便地在代码中实现各种层和模型。PyTorch的核心数据类型Tensor支持自动梯度计算，清晰展示训练过程。此外，框架还提供了创建模型、优化器、损失函数和训练框架的方法，通过继承nn.Module类定义层和模型，使得代码更易理解和维护。

深度学习模型在PyTorch中的训练流程包括前向传播、反向传播和参数更新。使用优化器、损失函数以及模型时，需确保它们之间的参数一致性，以保证模型正确训练。与第1-3章的框架相比，尽管实现细节有所不同，但模型训练的基本要素保持一致。

书中进一步探讨了在PyTorch中应用四种优化技术：动量、dropout、权重初始化和学习率衰减。例如，通过SGD优化器添加momentum参数来引入动量；使用nn.Dropout模块轻松实现dropout。对于权重初始化，由于大部分运算自动处理，无需额外关注。lr_scheduler类用于调整训练过程中的学习率。

构建卷积神经网络（CNN）在PyTorch中也得到详尽讲解。多通道卷积运算的输入和输出格式被详细解释，并展示了如何使用nn.Conv2d实现这种计算。通过一个简单的MNIST数据集上的CNN模型实例，阐述了定义模型结构、初始化参数以及进行前向传播的方法。

处理大型数据集在PyTorch中也有最佳实践，如DataLoader类和transforms模块用于数据预处理。DataLoader允许动态执行转换，避免一次性加载整个数据集到内存，从而高效地对数据进行操作，并轻松应用内置的转换功能。

此外，章节还介绍了如何使用PyTorch实现循环神经网络（RNN），特别是长短期记忆（LSTM）模型，展示了完整的序列预测模型实现过程，包括初始化隐藏状态和前向传播。无监督学习的概念也被讨论，通过自编码器学习未标记数据的表征，以及更强大的生成对抗网络（GAN）用于学习底层结构并生成新样本。

总的来说，PyTorch提供了一套全面且易于使用的工具，帮助开发者构建、训练和优化各种神经网络模型，无论是有监督还是无监督的学习任务。框架的设计使得用户能够专注于模型设计和实验，同时确保了高效性和灵活性。

第 7 章 PyTorch

读者在阅读本书遇到问题时的咨询途径，可以通过联系编辑或作译者答疑，或者访问图灵社区参与讨论。对于电子书的相关建议或疑问，有专门的客服邮箱供读者联系。同时提供了图灵教育的多个社交媒体账号，以便用户获取更多好书信息、活动播报以及科普内容。



Python深度学习入门：从零构建CNN和RNN