David Spiegelhalter，英国统计学家，剑桥大学统计实验室Winton风险与证据沟通中心的主席，曾担任2017-18年皇家统计学会会长。他不仅在BBC4频道主持纪录片，还出现在Infinite Monkey Cage、BBC Horizon和the Life Scientific等节目中。Spiegelhalter还担任过《泰晤士报》、《卫报》和《新科学家》的专栏作家，并于2014年因对统计学的贡献被授予爵士称号。他目前居住在英国剑桥。

Statistics has played a leading role in our scientific understanding of the world for centuries, yet we are all familiar with the way statistical claims can be sensationalised, particularly in the media. In the age of big data, as data science becomes established as a discipline, a basic grasp of statistical literacy is more important than ever. In The Art of Statistics, David Spiegelhalter guides the reader through the essential principles we need in order to derive knowledge from data. Drawing on real world problems to introduce conceptual issues, he shows us how statistics can help us determine the luckiest passenger on the Titanic, whether serial killer Harold Shipman could have been caught earlier, and if screening for ovarian cancer is beneficial. How many trees are there on the planet? Do busier hospitals have higher survival rates? Why do old men have big ears? Spiegelhalter reveals the answers to these and many other questions - questions that can only be addressed using statistical science.

如何利用比例和百分比对分类数据进行处理。章节从如何将数据转化为易于理解的百分比开始，探讨了如何通过百分比更好地传达信息。接着，章节深入探讨了数据背后的意义，包括如何识别数据背后的因果关系以及如何使用回归模型来预测和建模数据之间的关系。最后，章节还讨论了概率和统计在理解和分析数据中的重要性，强调了统计学在科学研究中的关键作用。



Title Page

英国统计学家大卫·约翰·斯皮尔曼，他在剑桥大学统计学实验室的Winton风险与证据沟通中心担任主席。斯皮尔曼是统计学领域内被引用最多、最具影响力的研究者之一，曾担任2017至2018年度皇家统计学会的会长。



About the Author

对统计学家群体的赞美，他们以严谨、慷慨、正直和致力于最佳利用数据的品质著称。这些特质让他们在数据的世界中探寻真理，成为数据分析领域的杰出代表。



Dedication

本书中丰富的图表和数据，涵盖了从医学到社会学的多个领域。图表类型多样，包括生存率、比例、风险分析等，展示了数据的可视化方法和统计推断。书中不仅分析了现实生活中的案例，还探讨了统计学原理，如假设检验、回归分析等，旨在帮助读者更好地理解数据和统计学在各个领域的应用。



LIST OF FIGURES

多种统计方法和数据分析在医学、心理学和社会学等领域的应用。包括儿童心脏手术的结局、鲍恩癌风险沟通方法、凝胶豆猜测的统计数据、心脏保护研究患者的结局、Simpson悖论的解释、父母与成年子女身高之间的关系、分类树在泰坦尼克号数据上的误差矩阵、逻辑回归在泰坦尼克号幸存者数据上的结果、不同算法在泰坦尼克号测试数据上的性能、乳腺癌生存率预测、男性终身性伴侣报告的统计数据、精确和自举置信区间的比较、性别与手臂交叉行为的交叉表、谋杀事件的天数与数量、心脏保护研究的结果和置信区间、使用Galton数据的多元回归输出、假设检验的可能结果、理查德三世遗骸的证据似然比、贝叶斯因素的解读、有问题的解释和沟通实践，以及最近三次大选的出口民调预测。



LIST OF TABLES

作者在统计学领域的职业生涯中，从众多令人鼓舞的同事那里汲取了宝贵的见解。他特别感谢了那些对他影响深远的人，并感谢了出版社和编辑团队的辛勤工作。此外，他还对插图作者、数据分析助手以及给予他文字反馈的同事们表达了感激之情。最后，作者承认了自己在写作和编程方面的不足，并对书中可能存在的不足表示了歉意。



ACKNOWLEDGEMENTS

在Harold Shipman谋杀案中，统计科学扮演了揭开真相的关键角色。通过对受害者年龄、性别、死亡时间以及与其它医生患者的死亡时间进行对比分析，统计方法揭示了Shipman主要杀害老年女性，且谋杀多发生在午后时段。这些发现不仅揭示了Shipman的犯罪模式和动机，也展现了统计科学在理解复杂社会现象中的强大力量。同时，文章强调了将现实世界事件转化为数据的重要性，指出统计分析在揭示隐藏模式、辅助决策和解决社会问题中的价值。

从官方定义来看，树是有木质茎且胸径超过一定尺寸的植物。通过统计方法，全球树木数量的估算被提出，但不同地区、不同时间对“树”的定义可能存在差异。文章指出，数据作为知识来源存在两大局限：一是数据可能无法完全反映我们真正关心的事物；二是测量对象和方式在不同地区、个体和时间可能存在差异。尽管统计科学在理解世界方面发挥着重要作用，但随着数据科学和科研的增加，统计学在应用和教学上面临新的挑战。

传统统计学教育通常侧重于理论和技术，忽视了实际应用和问题解决的重要性。现代数据科学的需求推动了教育方法从理论转向以问题为导向，强调统计工具在整个研究周期中的应用。PPDAC循环结构作为解决问题框架，第一步是明确问题，无论是谋杀案件还是树木数量研究。

在PPDAC循环中，数据收集和清洗是至关重要的技能，尤其是在处理日常数据时。分析阶段是统计学课程的核心，但数据可视化同样重要。统计科学不仅是数学的分支，更是一个包含问题解决、数据分析、结论沟通的综合性学科。此外，统计素养成为现代世界的关键技能，有助于评估统计信息的可靠性。

综上所述，统计科学在现代社会中发挥着至关重要的作用，从数据收集到结论沟通的PPDAC问题解决循环，统计学不仅是揭示真相的工具，更是提升社会问题的解决能力的关键。

INTRODUCTION

在1984年至1995年期间，英国布里斯托尔皇家医院儿童心脏手术存在严重问题，手术存活率低，数据记录混乱，导致多名儿童死亡。调查发现，医院在1991至1995年间的死亡人数比预期高出30人，这一事件引发了公众对医院医疗质量和监管问题的质疑。这一事件促使英国建立了公开报告医院生存数据的机制，并推动医学界改进对临床表现的监控。

数据展示方式对人们对信息的解读有着重要影响。文章以伦敦地铁广告和儿童心脏手术的生存率表为例，说明了不同的数据展示方式对情绪和认知的影响。文章强调，全面展示正负两方面信息，避免使用误导性的图表和图形，例如将横轴起始值设置为过高的百分比，以夸大差异。

在比较两个比例时，文章强调了比较方法的重要性。在展示风险估计时，文章指出应该使用绝对风险表达，因为相对风险与绝对风险存在差异。例如，“1/100”等风险表达方式容易混淆，建议使用“100人中有X例”来提高理解。

文章还探讨了概率、赔率和相对风险等概念，并强调在非科学语境中应谨慎使用赔率。在数据展示和沟通中，文章建议考虑心理学因素，以提升公众对风险的认知。

生活中常见的夸张媒体标题，如“猫引发癌症”，揭示了统计风险表达的误区。文章以“加工肉与香烟同属致癌物”为例，分析了相对风险与绝对风险的差异，强调使用绝对风险表达更直观。

在数据展示中，文章强调数据不仅仅是数字的呈现，更重要的是传达其背后的意义。因此，在数据展示和沟通中，我们应该全面展示信息，避免使用误导性的图表和图形，同时考虑心理学因素，以提升公众对风险的认知。

CHAPTER 1: Getting Things in Proportion: Categorical Data and Percentages

在统计学中，数字的重要性不言而喻。以Galton运用群众智慧预测牛重量的案例为例，我们领略了众包的强大力量。文章进一步阐述了如何对数据进行有效总结和传达，尤其是通过图表来展示数据的分布和趋势。作者通过猜豆子数量的实验，说明了不同图表在数据可视化中的重要性，并指出了它们的局限性。

在数据的种类方面，文章探讨了计数变量和连续变量，并解释了平均数、中位数和众数三种常见平均数的概念及其区别。需要注意的是，平均值并非总是最佳选择。极端值的存在可能导致平均值无法准确反映大多数人的实际经验。例如，在收入和性伴侣数量的平均值上，与大多数人的实际数据可能存在较大差异。这时，中位数和四分位数范围等稳健的统计量可能更为合适。

众包智慧在估计真实值时表现出有效性。文章还强调了描述数据分布时，除了平均值外，还需考虑数据的范围和离散程度，如范围、四分位数范围和标准差等统计量。

在手术量与医院生存率的关系研究中，数据显示，尽管1991-1995年间存在例外，但随着手术量的增加，生存率总体呈上升趋势。然而，到了2012-2015年间，这种关系不再明显。相关系数如皮尔逊相关系数和斯皮尔曼秩相关系数被用于衡量两个变量之间的关系强度，但它们不能证明因果关系。

全球人口增长趋势明显。从1951年至现在，世界人口增长了近三倍，达到约75亿。这一增长主要来自亚洲国家，尤其是非洲大陆。通过对比不同国家的增长趋势，我们可以发现各国在人口增长方面的差异。数据可视化有助于更好地理解这些趋势，并通过故事化的方式传达数据背后的信息。

数据可视化在统计分析中扮演着重要角色。从简单的数据描述到复杂的统计故事讲述，现代技术让数据可视化更加便捷。然而，我们需要注意总结数据可能隐藏的细节。图形化展示在数据分析中的关键作用在于揭示数据模式、异常值和关系，但同时也存在局限性，提醒我们在使用时保持警惕。

CHAPTER 2: Summarizing and Communicating Numbers. Lots of Numbers

在收集和分析关于性伴侣数量等敏感数据的调查中，数据质量至关重要。这一过程从原始数据到最终结论，需要经过多个阶段，每一步都存在不确定性。首先，从实际调查结果到样本数据，我们必须假设受访者提供了准确信息，尽管这种假设可能受到多种因素的影响。样本数据进一步扩展到研究人群时，需确保调查对象具有代表性，然而，参与率可能存在偏差。

在从研究人群过渡到目标人群的过程中，我们假设潜在参与人群能够代表整个成年人口。这一推理过程，即归纳推理，从特定实例中得出一般结论，通常是不确定的。在数据收集过程中，可能出现的问题包括受访者回答的准确性、问题设计的偏见、样本的代表性和调查的外部有效性。

为确保调查结果的可靠性，关键在于避免偏差。例如，通过随机抽样来获得代表性样本，以及注意问题措辞和先前调查如何影响受访者回答。此外，评估大型数据集的代表性也是一大挑战。

犯罪数据的收集同样面临挑战。警察记录的犯罪数据可能无法全面反映犯罪情况，因为存在不记录和未报告的犯罪行为，如非法药物使用和未报告的盗窃。此外，警察记录的犯罪数据与犯罪调查结果可能存在较大差异，因此，统计数据的可靠性取决于数据的质量。

在新生儿出生体重的统计学分析中，美国国家卫生统计系统提供的数据显示，非西班牙裔白人女性全胎儿的出生体重呈正态分布。了解数据分布，如均值、标准差和百分位数，对于描述和评估数据至关重要。

在统计学中，“人口”的概念可以是真实存在的群体，如随机抽样的人群，也可以是虚拟的。即使没有实际样本，我们也可以设想数据来自一个比喻性人口，即可能发生但未发生的事件集合。从样本到研究群体，再到目标群体，每一步都可能存在问题和偏差，但随机抽样是理想的方法。

CHAPTER 3: Why Are We Looking at Data Anyway? Populations and Measurement

流行病学和统计学在探究疾病原因方面发挥着重要作用。通过国家人口登记的大规模统计研究，我们能够了解疾病在人群中的分布和关联。然而，此类研究通常不能直接证明因果关系。例如，研究发现受教育程度较高的人患脑肿瘤的风险略高，但这可能仅仅是因为他们更有可能被诊断和登记。因此，我们必须牢记“相关性不等于因果关系”的原则，避免简单地将复杂现象归因于单一原因。

在研究药物效果时，随机对照试验（RCT）成为评估新医疗治疗和政策的金标准。通过将参与者随机分配到干预组和对照组，可以排除其他因素的干扰，更准确地评估药物的效果。例如，大规模随机对照试验显示，他汀类药物能显著降低心脏病发作和死亡的风险。然而，研究还需关注参与者对治疗的依从性，避免过度依赖单一研究结果，而应通过系统综述和荟萃分析来全面评估药物的疗效。

随机对照试验在医学研究中的重要性不言而喻。文章通过实例说明了RCT的应用，如比较不同治疗方法的效果，确保结果可靠性。同时，文章也提到了随机试验中遇到的挑战，如保持治疗分配平衡。A/B测试在网站设计中的应用也得到探讨。此外，文章还讨论了包括祈祷在内的非传统治疗方法的研究，强调即使是神秘的方法，也需通过科学方法评估其有效性。

随机化实验与观察性研究之间存在区别。观察性研究在研究人类行为时往往难以实施，因此我们更多依赖于此类研究。观察性研究需要谨慎分析数据，以区分相关性（观察到的关联）和因果关系。文中通过“老男人为什么耳朵大”的例子，阐述了如何通过不同类型的研究设计来探究现象背后的原因。同时，文章还强调了统计想象力在处理复杂关联时的作用，并提出了如何识别和处理潜在混淆因素的方法，如共变量和潜伏因素。此外，文章还讨论了Simpson悖论和反向因果等概念，强调了在解释观察性数据时需要谨慎。

人们常因事件同时发生而误以为存在因果关系。通过实际案例和科学方法，我们可以区分事件关联与因果关系。例如，疫苗接种与儿童自闭症同时发生，但无证据表明疫苗导致自闭症。左撇子长寿的误解源于历史上强迫儿童改用右手，导致老年左撇子数量减少。统计学家Austin Bradford Hill提出了判断因果关系的准则，包括直接证据、机制证据和平行证据。这些准则帮助我们从观察数据中推断因果关系。在无法进行随机对照试验时，这些准则尤为重要。例如，通过分析人群数据，我们可以推断特定暴露（如接触石棉）与特定结果（如肺癌）之间的关联。然而，因果关系的确定仍然充满挑战，需要综合考虑多种因素。

CHAPTER 4: What Causes What?

回归分析是统计学中一种关键的模型，用于预测和解释变量间的关系。本章以Francis Galton的研究为例，说明了通过分析父母身高与子女身高关系来理解回归分析的基本原理和方法。通过散点图和拟合线，我们得知父亲与儿子的身高存在相关性，并引入了回归到平均值的原理。此外，本章还介绍了回归分析中的相关系数和梯度等概念，并探讨了其在因果推断中的应用。

模型和误差在统计学中占有重要地位。模型是对现实世界的简化数学表示，如使用拟合直线的回归模型预测身高。然而，模型预测的结果与实际观察结果间总存在差异，这部分差异被称为残差误差。书中通过多个例子说明了回归到平均值的现象，指出很多变化可能只是回归到平均值的结果。

多变量线性回归模型在分析子女身高与其父母身高关系时特别有用。引入多个自变量可以更准确地预测因变量的值，并考虑其他可能影响结果的因素。例如，同时考虑父亲和母亲的身高可以观察到父母身高对子女身高影响会降低。此外，本章还介绍了其他类型的响应变量，如比例、计数和时间，以及对应的不同回归模型，如逻辑回归。

模型在工业和金融等领域具有重要性。模型如同地图，只能反映现实的一部分。尽管模型有助于我们理解复杂系统，但它们并非绝对准确，存在误差。过度依赖模型可能导致严重后果，如2008年金融危机中对复杂金融模型的过度信任。因此，在使用模型时，我们需要保持谨慎，认识到它们的局限性，并避免将其视为绝对的真理。

CHAPTER 5: Modelling Relationships Using Regression

统计科学和人工智能在解决现实问题中扮演着越来越重要的角色。它们通过算法和数据分析，寻找生活中的信号，帮助我们理解各种情况，如顾客喜好、机器人视觉中的物体，甚至预测天气、股票价格或顾客购买行为。基于历史数据的算法可以自动给出答案，减少人为干预，展示了科技的力量。

人工智能的预测分析功能主要依赖于机器学习算法，它处理大量历史数据，完成如语音识别、机器翻译等任务。这类“窄AI”在特定领域表现出色，但缺乏想象力，无法超越人类。数据科学利用“大数据”进行决策支持，包括大量案例和特征。为了处理这些数据，研究者使用聚类和特征工程等方法。此外，分类和预测算法众多，通过竞赛等形式不断提升算法性能。

预测算法在解决实际问题中发挥着重要作用。例如，通过分析泰坦尼克号乘客的生存数据，我们可以预测乘客是否生还。研究人员收集了乘客的姓名、性别、年龄、舱位等级、票价、家庭状况等信息，利用分类树等算法进行分析。研究发现，乘客的舱位等级、性别、年龄等因素对生存率有显著影响。

评估算法在分类问题上的表现，我们通常使用准确率、ROC曲线和AUC等指标。准确率衡量算法的好坏，即正确分类的样本比例。ROC曲线展示了不同阈值下算法的敏感性和特异性，AUC则反映了算法区分正负样本的能力。此外，通过校准概率可以评估概率预测的准确性，即预测的概率与实际发生概率的一致性。

机器学习中的过拟合问题是指模型在训练数据上表现良好，但在新数据上表现不佳。为了避免过拟合，需要找到一个平衡点，既不过于简单也不过于复杂。交叉验证和正则化等技巧可以帮助找到这个平衡点。此外，随机森林、支持向量机、神经网络等更复杂的机器学习模型在处理复杂问题时比传统的分类树和回归模型更加有效。

在现实世界中，算法的应用面临着诸多挑战，如鲁棒性不足、统计变异性未考虑、隐含偏见以及缺乏透明度等问题。以乳腺癌手术后的辅助治疗选择为例，手术结合激素治疗、化疗或靶向治疗能显著提高生存率。英国研究人员开发的算法Predict 2.1通过分析历史数据，帮助医生和患者评估不同治疗方案的生存率。该算法考虑了患者的年龄、肿瘤大小和类型等因素，为患者提供个性化的治疗方案。算法的开放性和持续升级使其在临床实践中得到了广泛应用。

总之，统计科学和人工智能在解决现实问题中发挥着越来越重要的作用。通过算法和数据分析，我们可以更好地理解各种情况，预测未来事件，为人们的生活带来更多便利。然而，算法的应用也面临着诸多挑战，我们需要不断提高算法的透明度和可解释性，确保算法的公正性和可靠性。

CHAPTER 6: Algorithms, Analytics and Prediction

在统计学中，准确估计总体参数是至关重要的。以英国和美国的失业率为例，由于数据通常是基于抽样调查得出的，因此存在误差范围。正确理解统计数据的重要性不言而喻，我们不能简单地将样本均值等同于总体均值。样本量的大小对估计的准确性有显著影响，这一点通过模拟不同样本大小对统计数据的影响得到了证实。

为了评估样本估计的可靠性，一种有效的方法是“自助法”。这种方法通过随机重采样原始数据来生成新的数据集，并计算样本统计量。实验结果表明，无论原始数据分布的形状如何，随着数据集规模的增加，基于自助法重采样计算出的样本统计量分布趋于正态分布。这种技术不需要对总体分布做任何假设，也不需要复杂的概率理论，且利用现代计算机技术可以高效地进行。

自助法的一个重要应用是计算不确定区间，即95%置信区间，从而更准确地评估估计值的可靠性。这种方法的核心在于，它允许我们模拟原始数据集的多种可能形式，从而评估估计的稳健性。通过这种方式，我们可以更好地了解估计值在统计上的可靠性，以及可能存在的误差范围。

此外，自助法在统计学中的应用不仅仅局限于计算置信区间。它还可以用于检验假设、评估模型、以及进行其他统计分析。例如，我们可以使用自助法来比较不同模型或方法的性能，或者检测数据是否存在异常值。

值得注意的是，自助法并非没有局限性。例如，它依赖于原始数据的准确性，并且当样本量较小时，结果的可靠性可能会降低。此外，对于某些类型的分析，自助法可能不是最佳选择。

总之，自助法是一种简单、高效且通用的统计方法，可以用来评估样本估计的可靠性。它为我们提供了一种无需复杂概率理论，且无需对总体分布做假设的统计推断手段。在当今计算机技术高度发达的背景下，自助法已成为统计学研究中不可或缺的工具之一。

CHAPTER 7: How Sure Can We Be About What Is Going On? Estimates and Intervals

概率，作为统计学中描述不确定性的语言，其应用贯穿于我们的日常生活。从法国赌徒的亲身经历到现代计算机模拟，概率在赌博游戏中的表现揭示了其真实面貌。通过概率的基本规则，如取值范围、互补法则、加法和乘法法则，我们能够解决概率问题。

概率并非简单的数字游戏，其多样性和复杂性令人深思。例如，在现实世界中，我们对概率的估计往往基于一系列假设，这些假设可能影响最终结果。条件概率的概念，如乳腺癌筛查的例子所示，揭示了我们在实际应用中常常混淆事件发生的概率和条件概率。

概率的定义和哲学同样引人入胜。概率并非一个可以直接测量的物理量，而是依赖于理论和主观判断。不同的概率定义，如古典概率、枚举概率、长期频率概率、倾向性概率和主观概率，展示了概率的多样性和复杂性。

在统计学中，概率的应用广泛。尽管某些专家认为概率是主观的，大多数人仍将随机事件视为客观随机，并以此为基础进行分析。统计学分析通常需要假设数据是由随机机制生成的，即使在观察所有数据时，概率理论依然适用。

本文以英国和威尔士近三年内谋杀案数据为例，通过泊松分布模型评估一天内发生七起或以上谋杀案的概率。结果显示，这样的事件发生的概率仅为0.07%，平均每1,535天才会发生一次，即大约每四年一次。这表明，尽管极端事件发生的概率较低，但并非完全不可能。

泊松分布模型在现实世界中有着广泛的应用，如足球比赛中的进球数、彩票中奖概率等。这进一步展示了概率论在理解和预测现实世界事件中的重要性。通过概率，我们可以更好地理解生活中的不确定性，为决策提供依据。

CHAPTER 8: Probability – the Language of Uncertainty and Variability

概率与统计学在数据分析中扮演着至关重要的角色。通过随机抽样，我们能推断出整个群体中左撇子的比例，而统计数据被视作随机变量，探讨不同样本大小下的概率分布。实际案例，如英国肠癌死亡率在不同地区的分布，揭示了使用统计学方法评估数据合理性的重要性，同时也提醒我们仅凭观察结果得出结论可能存在偏差。

应用概率理论时，需谨慎对待假设，并重视实际数据分析。文章通过“漏斗图”展示了数据分布，并指出即便在大数据时代，仍需运用基本统计原理避免被数据表面模式误导。深入探讨中心极限定理，解释了在样本量足够大时，样本平均值的分布趋近于正态分布，这一原理广泛应用于多个领域。同时，文章阐述了概率理论和统计推断在处理未知参数时的作用，并以抛硬币为例说明了偶然性和认知不确定性两种随机性。

置信区间概念表明了统计数据可能反映的总体参数范围，该原理在20世纪30年代由两位统计学家提出。借助统计软件，我们可轻松计算置信区间，无需深入数学公式。文章通过表格展示了不同方法得到的置信区间，并讨论了95%和99%置信区间的宽度选择。同时，提及了调查中的误差范围及其计算方法，强调了实际应用中需考虑的误差来源。

在处理实际问题时，数据统计的重要性不容忽视。文章强调了数据收集过程中的潜在偏差和统计方法的局限性。以英国谋杀率为例，展示了如何利用概率模型估计潜在趋势，并通过计算置信区间评估趋势变化的显著性。此外，文章还指出了置信区间在不同类型数据中的应用差异，并强调了概率理论在统计推断中的基础作用。这些分析有助于我们更好地理解统计模型如何帮助我们解答关于世界运作的重要问题，并为科学发现奠定坚实基础。

CHAPTER 9: Putting Probability and Statistics Together

约翰·阿布斯诺特通过分析伦敦82年的洗礼数据，揭示了男女比例并非1:1的事实，这展示了统计学在揭示数据背后的真相中的魅力。文章进一步阐述了假设检验在科学研究中的关键作用，强调零假设在未发现足够证据反驳前，被视为正确。通过实例，如失业率变化和药物效果评估，说明了假设检验在日常生活和科学研究中的应用。

P值在验证假设中扮演着重要角色。通过一个关于学生性别和手臂交叉行为的例子，阐述了如何使用P值判断数据是否与零假设相符。文章还解释了如何通过随机排列和超几何分布计算P值，并说明了单侧和双侧P值的意义。统计显著性成为判断结果是否具有统计学意义的关键。

零假设显著性检验（NHST）是统计推断中的重要方法。通过设定零假设，检验观察到的统计量是否显著偏离零假设，从而判断是否拒绝零假设。文章详细介绍了NHST的步骤，包括设定零假设、选择检验统计量、生成检验统计量的抽样分布、计算P值以及判断结果是否显著。

统计学在科学研究中的应用广泛，包括医学研究、数据分析等。同时，文章指出了统计学中存在的误区，如多重检验问题和虚假阳性结果。在统计学分析时，需谨慎对待显著性检验，避免过度解读结果。

科学家们通过实验和数据分析验证理论。以Higgs玻色子为例，科学家们利用统计方法确定了Higgs玻色子的存在。Neyman-Pearson理论通过定义假设检验的参数，如显著性水平和功效，指导实验设计。

医学研究中样本量选择至关重要。足够样本量对于检测治疗效应至关重要。文章讨论了心理学和神经科学研究中样本量选择的随意性，指出小样本研究可能导致重要假设的遗漏。

P值起源于评估数据与预设假设的兼容性，但现在广泛应用于科研。然而，过度依赖P值可能导致错误结论，因为P值并不能直接反映假设的真实性或数据的随机性。美国统计协会提出了关于P值的六个原则，旨在纠正对P值的错误理解和使用。

统计显著性在科学研究和商业决策中存在误区。过度依赖P值可能导致对“非显著”结果的误解。文章强调，P值本身不能衡量效应的大小或结果的重要性，并建议将显著性标准从P < 0.05提高到P < 0.005，以降低假阳性结果。研究者应关注统计方法在研究中的应用，避免将不确定性转化为确定性。

CHAPTER 10: Answering Questions and Claiming Discoveries

在统计推断领域，贝叶斯方法是一种处理不确定性问题的独特方法。它通过概率来表示我们对世界知识的不足，并随着新信息的到来不断更新。与Fisher和Neyman-Pearson的理论不同，贝叶斯方法强调数据背后的知识和判断的重要性。

贝叶斯定理为基于经验学习提供了一种机制，它利用先验信息和数据来估计未知量的概率分布，形成后验分布。这种方法在处理选举预测、法律案件和科学假设测试等方面具有广泛应用。

贝叶斯分析在法律案件中原本可以提供清晰、严谨的证据处理，但在英国法庭中却被禁止使用。法庭允许使用的是似然比，这是比较两个相互竞争假设下证据强度的关键概念。通过似然比，可以评估证据的可靠性，并计算最终的概率。

在法律和统计学中，似然比和贝叶斯定理都扮演着重要角色。例如，在理查三世遗骸的考古案例中，通过对骨骼进行放射性碳定年、性别鉴定、脊柱侧弯、尸检伤口和DNA分析等证据的综合评估，得出了该遗骸极有可能是理查三世的结论。

贝叶斯定理在估计事件发生概率时也有广泛应用。通过一个抛硬币的例子，可以说明贝叶斯定理如何利用先验信息和数据来得出结论。在分析选举预测时，贝叶斯分析能够考虑历史数据和主观判断，从而提供更加可靠的预测。

在统计学中，贝叶斯分析通过多级回归和后分层（MRP）方法来优化选举前民意调查的分析方法。这种方法将所有可能的选民划分为高度同质的小组，通过背景数据估计各小组人数，并假定他们有相同的投票概率。通过贝叶斯方法平滑数据，结合每个小组的分析结果，预测整个国家的投票情况。

贝叶斯因子是评估证据强度的一个重要指标。它反映了新证据对假设支持度的变化，数值越大，新证据对假设的支持越强。贝叶斯方法和频率主义方法是统计学中两种主要的方法论。贝叶斯方法强调结合先验知识和数据来更新信念，而频率主义方法则侧重于样本的长期频率特性。

在选择统计方法时，应根据实际需要和具体情况，而非仅仅基于方法论上的偏好。贝叶斯分析在处理不确定性问题时具有独特优势，它能够将先验知识和数据结合起来，为决策提供更可靠的依据。

CHAPTER 11: Learning from Experience the Bayesian Way

在科学研究过程中，统计方法扮演着至关重要的角色，但同时也存在被错误使用的风险。Daryl Bem的ESP实验案例揭示了统计方法在科学研究中可能存在的局限性和潜在陷阱。文章指出，统计显著性并非绝对可靠，重复验证至关重要。此外，样本选择、数据收集和分析过程中的错误，以及如何避免这些错误，也是文章讨论的重点。

文章强调，正确使用统计方法对于确保研究结果的可靠性和可信度至关重要。然而，一些不良实践，如选择性报告显著结果、数据伪造以及“P-hacking”等现象，可能误导研究人员和公众，对科学进步产生负面影响。文章通过InterMune公司的CEO Scott Harkonen和德国记者John Bohannon的案例，揭示了这些问题。

研究者在统计工作中存在诸多问题，如选择性报告、不报告所有研究结果、未报告所有研究反应等。这些问题在研究过程中不断放大，从原始数据到公众获取信息的过程中，都可能产生误差和扭曲。此外，科学故事在媒体传播过程中也可能出现夸大研究结论、缺乏对研究不确定性的报告等问题，使得统计研究的结果与事实之间产生偏差，给公众带来误导。

心理学领域关于数据分析和统计方法的争议，主要表现为研究者过度使用自由度导致统计结果的不可靠性。Bem的2011年论文引发了科学界对文献可靠性问题的反思。文章强调，统计错误和可疑的研究实践是科学危机的主要原因，而媒体和编辑在传播过程中也可能加剧这一问题。

为提高研究质量，需要采取措施减少不良实践，并加强对科研诚信的监督。同时，研究者应重视样本选择、数据收集和分析过程中的问题，确保统计方法在科学研究中的正确使用。只有这样，才能确保研究结果的可靠性和可信度，推动科学进步。

CHAPTER 12: How Things Go Wrong

一项关于卵巢癌筛查的大型英国临床试验引发了关于统计数据生产严格性和信息传达有效性的广泛讨论。尽管11年的平均随访显示主要分析未发现生存率显著降低，相关报道却将其称为“重大突破”，这可能促使全国范围内的筛查。这一事件凸显了统计工作者、信息传达者和受众在提升统计数据质量方面各自的责任。

科学研究中提高可靠性的关键在于合作研究，书中提出了一系列改进方法，如优化研究方法、预先注册研究设计和分析、提高研究过程的透明度等。区分探索性研究和确认性研究，以及改善科学传播，如数据新闻和与记者合作，避免过度简化，都是关键。

P-curve这一统计方法能够识别数据中的潜在偏差，揭示是否存在人为调整数据以夸大结果的情况。在心理学研究中，P-curve的应用揭示了关于选择过多导致负面后果的观点可能存在发表偏倚。评估统计结论的重要性被强调，提倡数据收集、分析和使用中的透明度和诚信。

评估基于统计证据的声明是否可信是一项复杂的任务。文章提出十个问题，包括评估研究的严谨性、统计不确定性和来源的可靠性，以及声明的解释是否合理。数据伦理的重要性也被强调，统计科学应在社会背景下进行。

英国最近三次全国大选的投票预测和实际结果，以及预测的误差范围，展示了统计科学的力量。尽管预测结果与实际结果存在一定偏差，但精确的方法展示了统计科学的价值。文章强调了生产者、传播者和受众在提高统计科学在社会中的应用方面各自的角色和责任，包括确保信息可复制、易懂和可靠，以及受众要敢于质疑不良的统计实践。

CHAPTER 13: How We Can Do Statistics Better

统计学的复杂性与重要性，作者通过十个简单规则总结了有效统计实践的关键要点。强调统计学应服务于科学问题的解答，重视数据质量，保持分析简单，并强调复现和可重复性。作者认识到统计学对个人和整个社会的影响，并分享了自己与统计学结缘的经历，表达了对统计学的热爱与敬仰。



CHAPTER 14: In Conclusion

本书深入浅出地介绍了统计学的基本概念和原理，涵盖了从绝对风险、调整/分层、随机不确定性到算法、人工智能等广泛领域。书中详细阐述了如何运用统计分析来揭示数据中的规律与关系，并介绍了多种统计方法和测试，如伯努利分布、二项分布、卡方检验等，以验证假设和进行推断。

数据质量被视为关键因素，书中提出了提升数据质量的方法。此外，书中还探讨了统计学和数据分析的基础概念，包括假设检验、置信区间、分类树和Cox回归等，以及数据科学的基本原理，如机器学习、数据管理和编码。

书中列举了多种统计学中的概念和公式，如预测值、梯度、截距、中心点、残差等，这些在数据分析和建模中极为重要。标准化过程和Z分数计算方法被介绍，以实现数据集分布为标准正态分布。同时，百分位数和随机化测试等概念也被阐述，用于检验假设。

书中还探讨了概率分布的概念，统计推断中的术语如P值、统计显著性、标准误差等，以及不同类型的统计研究，如前瞻性队列研究、回顾性队列研究等。此外，还分析了统计中的常见误区，如检察官谬误和回归到均值，以及如何正确解读数据。

监督学习和无监督学习作为机器学习算法，被详细介绍其在分类和聚类中的应用。书中还解释了t统计量、Z分数等统计概念，并阐述如何利用它们来检验假设和标准化数据。此外，书中还探讨了错误类型、方差、变异性和智慧群体的概念。

通过本书，读者可以获得对统计学和数据分析的全面理解，掌握从数据中提取有价值信息的方法，并将其应用于解决实际问题。

GLOSSARY

数据可视化是理解统计数据的关键。书中通过介绍“数据怪兽”，一个大型数据库，展示了数据关联性的重要性。作者强调，通过数据可以揭示社会现象，如人口统计、犯罪率、健康问题等。同时，书中也阐述了如何通过统计方法分析因果关系，并强调科学方法在得出结论中的关键作用。

书中还提到如何避免统计陷阱，如误导性的图表和数据误导。Waitrose商店的财务状况对房价的影响、碳酸饮料与青少年暴力行为的关系等案例，都说明了正确运用数据的重要性。

统计学家对教皇寿命的研究、左撇子与生存能力的关系等话题，展示了统计学在各个领域的应用。基因研究中的适度饮酒与健康的关联性，尽管结论尚有争议，但仍是统计学和概率论应用的一个例子。

在数据分析方面，书中介绍了回归模型来研究变量间关系的方法，并讨论了建模过程中可能存在的风险。不同类型的变量对应不同的回归模型和系数解释方法，如多元线性回归、逻辑回归和泊松回归等。

统计学和概率论在各个领域的应用广泛，如分析历史数据规律、评估风险、预测未来趋势等。实例包括分析游戏胜率、验证天气预报、评估选举结果等。统计学在科学研究、商业决策、社会管理等方面的作用不容忽视。

书中还探讨了心理学研究中数据分析和统计方法的问题，强调了科学研究的可重复性和透明度的重要性。卵巢癌筛查和血检技术的进展，以及科学研究的开放性和信任问题，也引起了关注。

最后，书中总结了统计实践中的一些简单规则，以提高研究效率和准确性。通过这些方法，读者可以更好地理解数据和统计信息，从而做出更明智的决策。

NOTES

本书内容广泛深入，涵盖统计学和数据分析的多个层面。从基础的概率论和统计数据到高级的算法与模型，内容丰富，旨在帮助读者全面掌握统计学的基本原理和方法。

书中不仅阐述了统计学理论，还通过具体实例展示了其在实际应用中的重要性。例如，通过数据分布分析、概率计算、假设检验等方法，揭示事物间的关联与规律。此外，本书还探讨了统计学在科学研究、商业决策、社会问题分析等领域的应用，并指导读者如何避免统计陷阱和错误解读。

在科学研究领域，概率与统计发挥着关键作用。本书详细介绍了概率的意义、概率分布、统计推断等基本概念，并深入探讨了假设检验、回归分析等统计方法。书中强调数据可靠性、样本大小、统计显著性等问题的重要性，并揭示了常见的统计误区，如P-hacking、选择性报告等。

本书还介绍了统计科学的发展历程，以及如何进行有效的统计实践。此外，本书涵盖了众多主题和作者，包括经济学、人类进化、俄罗斯革命、大脑研究、古希腊罗马政治思想、古典文学、英国政治、世界观察、科学意义、社会阶级、欧洲联盟、伊斯兰教、基本收入、人类学、解释学、生态学、存在论、马克思主义、人类居住地、推理与论证、育儿、社会流动性、民族主义、世界政治史、英国脱欧、宇宙观、统计学、中国思想、莎士比亚等。这些主题和作者涵盖了社会科学、自然科学、哲学、文学等多个领域，为读者提供了丰富多元的知识视野。