周涛，2015年度十大科技创新人物，是《大数据时代》中文版译者，中国大数据领军人。他拥有非凡天赋，从幼时起就展现出卓越才能，26岁获教育部自然科学一等奖，27岁成为电子科技大学正教授，29岁获中国青年科技奖。周涛在学术领域颇有建树，发表300余篇论文，H指数高达55。同时，他也是一位商业领袖，创立数家大数据企业，总市值过百亿。

	在大数据概念如此流行的今天，为什么要读这本书？中国大数据领军人、大数据创新与实践一线专家、百万级畅销书《大数据时代》中文版译者周涛，耗时三年，将海量真实案例披沙拣金呈现给广大读者。在本书中，您将看到大数据在智慧交通系统、个性化医疗、智慧学校以及金融和商业等领域的中国式创新实践，并为未来大数据的发展提供有可行性的路径指南。 	什么样的人才能在下一个时代生存和发展？大数据3.0时代我们究竟要做些什么？数据交易如何让数据资源成为汇聚之地？每个企业又该如何成为大数据企业？周涛教授通过真实案例告诉读者：拥有大数据的理念，能够掌握数据和运用数据的人和企业，才能在“一切都被记录，一切都被分析”的数据化时代得以生存。无论现在从事什么行业，即便不能掌握一项特定的数据技术，了解大数据的理念、培养大数据的思维模式是非常重要的。学会用数据说话，用数据分析的结果来证明“哪个更好，哪个更坏”并指导我们作出正确决策。 	这不是坚硬的学术专著，而是一部柔软的情怀之书！没有晦涩的文辞，枯燥的说教，字里行间洋溢着浓浓的数据情怀和拳拳的责任之心。周涛教授讲述了很多在大数据领域努力拼搏，希望有所创新的中国人的故事，相信这些故事背后的理念、技术和精神能够唤起更多年轻的创新者，为我们民族的复兴作出自己的贡献。 	领跑大数据3.0时代，大数据创新实践的扛鼎之作！大数据1.0，是将自身业务上产生的大量数据，利用深入的分析使其不断优化，优化之后的业务产生更多数据的正向循环。大数据2.0，是如何把自身业务的数据用来解决业务以外的其它问题，或者如何用业务以外的数据解决自身业务的问题。大数据3.0，是如何在资本和文化的催化作用下，让数据、技术、需求和人才等大数据创新要素融为一体。三个版本强调的不是时间上的先后顺序或逻辑上的依存关系，而是就其与传统数据应用在理念上的差异程度进行的划分。

Part1 大数据时代，用数据说话

在大数据时代，数据化已成为企业发展的必然趋势。要成为大数据企业，企业需完成以下步骤：全面数据化、整理数据资源、构建数据管理平台、发展对海量数据的深入分析能力、建立外部数据的战略储备、提升数据外部创新能力、推动数据开放与共享以及进行数据产业战略投资布局。每一步都不可或缺。

全面数据化要求企业采集并存储所有数据，整理数据资源则需建立数据目录和标准。数据管理平台的建立有助于更好地组织和管理数据。此外，企业还需培养相关人才，提升数据外部创新能力，并推动数据开放与共享，以在激烈的市场竞争中脱颖而出。

面对非结构化数据的挑战，不同企业和机构有着各自的诉求和目标。例如，顺丰快递希望优化配送路线，新浪希望识别有影响力的用户，医院则需要肿瘤诊断。针对这些诉求，我们需要开发适应不同数据类型和分析需求的方法。

尽管数据形态多样化，但通过学习基础概念和六种典型数据类型（文本、图像、语音、网络、空间轨迹和时间序列）的挖掘方法，可以培养适应数据变化的数据分析和挖掘人才。

01 从万物皆数到万事皆数

数据从“十数九表”到“数态万千”的发展历程，以及当前大多数企业在数据分析和应用方面仍停留在传统阶段的问题。文章进一步探讨了如何培养适应非结构化数据分析处理需求的员工和学生。同时，通过个人童年经历，引发了对记忆与现实、数据与生活的思考。文中提到，我们主动或被动地成为数据贡献者，无论是在线上还是线下，我们的行为和活动都被记录和分析。随着数据量的爆炸性增长，未来数据化产业将迎来巨大发展，我们的生活和世界将越来越多地被数据所影响。



02 从十数九表到数态万千

大数据如何打破信息孤岛，实现数据间的互联互通。以前数据孤立无援，如今通过技术手段，数据如同村落般相连，释放出巨大的价值。举例说明，通过对一栋楼的地理位置、人流、物流等多方面数据进行分析，可以预测员工数量、消费水平等。同样，个人数据也可以通过手机、社交媒体等渠道进行整合，为广告商、人力资源部门等提供精准信息。然而，如何保护用户隐私成为一大挑战。大数据不仅改变了商业模式，更带来了决策、科学、教育等方面的颠覆性变革。



03 从隔水相望到阡陌交通

大数据和云计算如何推动一场新的工业革命，这场革命的影响不仅限于信息产业，而是波及到各个行业。大数据的运用预示着新生产力的爆发和从理念到实践的颠覆性变革，预示着各行各业都将经历巨变。



04 大数据驱动新工业革命

在当前的大数据时代，企业要构建自身的大数据能力，需采取一系列措施。首先，全面数据化和整理数据资源是基础，接着建设数据管理平台，增强对海量数据的深入分析能力。同时，建立外部数据的战略储备，提升数据外部创新能力，推动数据的开放与共享，以及进行数据产业的战略投资布局。

数据量的爆炸性增长和形态的多样性，使数据采集由静态变为动态，关联形式也发生显著变化。从人类到动物、植物、大自然，再到政府、企业、科研机构，数据贡献来源广泛。大数据的精髓在于数据与数据之间的关联，如地点数据与个人数据的融合。

个人数据的获取途径包括手机、社交媒体、电子商务网站等，通过这些数据可以了解一个人的社交关系、兴趣爱好、消费习惯等。保护用户隐私数据安全至关重要。数据关联挖掘和分析能够为用户提供更精准的广告和个性化服务。

大数据对商业创新和决策产生了深远影响，同时，大数据分析的方法和理念也日益成熟。数据开放共享的重要性不言而喻，未来大数据可能引发新的工业革命。

企业要在大数据时代取得成功，必须紧跟数据化浪潮，提升数据分析能力，构建全面的大数据生态体系。

Part2 大数据1.0：分析

大数据分析在商业和社会领域的广泛应用。文章以统计呈现洞见为主题，展示了如何通过数据分析来避免损失、控制风险，并获取商业洞察。文中举例说明了非法MCC套用检测、打击“电老鼠”、抓获过度医疗和骗保行为等案例，展示了大数据分析在打击不良行为和优化资源配置方面的强大作用。同时，文章也探讨了在线社交网络、快递员通话记录等数据在商业价值挖掘中的应用。通过这些案例，我们可以看到大数据分析在现代社会中的重要性和广泛影响力。



05 统计呈现洞见

寻找因果关系在科学发展中的重要性，并指出关联关系虽然不可靠，但能帮助发现潜在的因果关系。通过大数据挖掘技术，可以找到商品之间的强关联，例如“啤酒-尿布”的经典案例。关联规则挖掘是分析数据记录中相关性的方法，使用支持度和置信度来判断规则的有效性。然而，“支持-置信”分析存在缺陷，如需要人为设定阈值，并倾向于推荐热销产品。协同过滤技术通过找到喜好相似的用户群进行个性化推荐，但同样有过度推荐热门商品的问题。关联分析不仅限于成对的商品，还可以扩展到特征组合与目标之间的复杂关系。虽然关联分析有助于预测和挖掘知识，但它不能完全替代因果分析的重要性。在实际应用中，如大数据营销决策平台希格斯和中国联通的数据分析案例，通过发现异常的关联关系并深入挖掘其背后的因果关系，可以指导商业策略和政策制定。



06 关联蕴含价值

大数据时代，单纯精通某一模型的人才已不再是主流需求。如今，我们更需要的是那些对各类数据和模型有深入了解，能够准确把握它们之间差异的人。他们不仅对特征选择和模型选择有丰富经验，还能凭借敏锐直觉作出决策。这样的人才能在数据时代中发挥关键作用。



07 预测指导决策

在当前的大数据时代，企业若想成为大数据企业，首先要实现全面数据化，将生产经营中的所有数据记录下来，形成数据资产。然后，建立数据标准，形成管理规范，确保数据质量和安全性。接下来，建设数据管理平台，解决数据组织、管理和关联问题，为业务提供支持。同时，企业还需培养分析海量数据的能力，包括非结构化数据的处理和机器学习。

人们不仅是数据贡献者，还主动或被动地贡献了大量的数据，包括个人行为、生理信号、环境监测等。数据采集从静态变为动态，数据量也呈指数级增长。同时，数据之间的关联形式发生变化，数据孤岛开始连成一片，如地理位置数据、个人数据等，为智慧城市建设、个性化服务等提供了新的可能性。然而，这也引发了数据隐私、文化多样性等问题。

大数据在现代社会中广泛应用，通过分析用户的各种数据，如手机通话记录、社交媒体行为、电子商务购买记录等，为我们提供了丰富的信息。这些信息不仅帮助广告商精准投放广告，还在金融、医疗等领域发挥巨大作用。但享受大数据便利的同时，我们必须关注数据安全和隐私保护问题。

大数据分析中的关联关系及其应用也很重要。通过挖掘商品间的购买行为，可以发现潜在的销售机会，但这种方法容易过度推荐热销产品，影响用户体验。协同过滤技术通过寻找相似用户的购物偏好来个性化推荐，但也存在类似缺陷。关联分析不仅限于简单的两两比较，还可以考虑特征组合与目标之间的复杂关系。网络表达的关联关系在公开数据中具有重要价值，如识别“房叔”和非法集资企业。

大数据在各个领域的应用广泛，如教育、职场和人力资源管理。以教育大数据为例，通过分析学生的行为数据，如进出寝室记录、打水次数、食堂打卡记录等，可以预测学生的成绩和发现学业异常。同时，利用社会计量标牌等外部数据，可以洞察人力资源管理和提高企业生产效率。

此外，大数据分析在打击非法集资、企业征信和评级等方面也展现出巨大潜力。研究发现，员工的绩效与社交网络指标关联性更强，社交网络中粉丝数量与平均绩效关联性最强。通过分析员工的交流网络和社交网络，可以预测员工的离职和升职。促进员工间的沟通交流可以提升员工的忠诚度和工作效率，而工作之外的交流与绩效表现之间的关联更强。

Part3 大数据2.0：外化

在数据分析的新阶段，我们不再局限于只关注与自身业务相关的数据，而是尝试运用看似无关的数据来解决各种问题。这种跨界思维打破了“有关”和“无关”的界限，数据洪流如同江河海洋，连接并浸润着各个领域。在这个过程中，我们的视野和思路得到了极大的拓展，为解决更广泛的问题提供了可能。



08 寻求外部数据的帮助

大数据在创新领域的应用，强调了企业不应局限于自身业务，而应拓展思维，挖掘数据的社会经济价值。以Google利用搜索关键词预测流感趋势为例，展示了大数据在公共卫生领域的潜力。同时，还介绍了阿里巴巴的“淘CPI”指数，说明企业数据对于国家宏观决策的重要性。文章强调，企业应跳出自身局限，发挥数据在更广阔领域的价值，为社会发展贡献力量。



09 自身数据的外部价值

机器学习与数据外化在创新中的重要作用。统计理论虽不能保证新发现，但能避免重大错误；机器学习虽不能确保最佳解决方案，却能提供不错的方案。这表明，掌握统计与机器学习的重要性，不仅能指导我们避免误判，还能有效解决问题。



10 机器学习，数据外化最神奇的利器

大数据企业的定义和特点在于其具备数据分析工具和创新能力。在当前大数据时代，企业若想成为大数据企业，需经历一系列步骤。首先，全面数据化，即整合所有数据资源；其次，建设数据管理平台，确保数据的高效处理；接着，建立数据分析能力，对数据进行深入挖掘；此外，还需储备外部数据，增强创新能力，推动数据开放共享，并投资布局数据产业。

随着数据量的爆炸性增长，数据形态也由传统的表格数据转变为多样化的非结构化数据。大数据不仅改变了数据形态，还影响了数据分析的方法。因此，数据挖掘和分析变得尤为重要。书中提出“非结构化数据挖掘”的课程建议，培养适应大数据时代的数据分析人才。

大数据在现代社会中具有重要作用，它通过多源异构、跨域关联的海量数据分析，为决策流程、商业模式、科学范式、教育理念、生活方式和观念形态带来颠覆性变化。大数据分析的核心是挖掘数据价值，通过对用户行为、消费记录、地理位置等数据的挖掘，指导更精准的产品设计和市场策略。

然而，数据隐私和安全问题是大数据应用中需要关注的重要问题。如何平衡数据开放共享与保护用户隐私成为一大挑战。

在推荐技术中，协同过滤方法通过找到与目标消费者喜好相似的用户群来个性化推荐商品。但这种方法存在过度推荐热销商品的问题。为克服这一缺陷，可以修改关联强度定义，考虑不那么热销的商品或较少购买行为的用户之间的关联。

特征组合在大数据挖掘中也具有重要意义。单一属性与目标之间可能没有明显关联，而多个属性组合则可能存在强关联关系。此外，利用网络表达关联关系的应用场景，如房地产信息和工商注册信息的公开可以揭示更多有价值的信息。

因果分析在大数据分析中同样重要。关联和因果相互支持，可以帮助挖掘出潜在的因果关系，指导商业决策。同时，数据分析可以发现异常关联并进一步挖掘其背后的因果逻辑，揭示一些业务中的不正当行为。

在没有明确因果关系的情况下仅依靠数据关联进行预测存在风险，需要谨慎对待。

大数据分析可以揭示看似无关的数据之间的关联，例如学生的生活习惯与学业成绩、食堂打卡记录与社交活跃度等。这些发现有助于我们更全面地理解学生行为，甚至预测其学业发展。

大数据分析在人力资源管理中具有重要作用，通过分析员工的社交网络和绩效数据，可以预测员工的离职和升职情况。同时，大数据分析还能帮助企业管理者更好地了解员工的工作状态，提高员工的忠诚度和工作效率。

在大数据时代，企业需要跳出自身业务的局限，思考数据的潜在价值，并将其应用于更广泛的社会领域。数据堂和国信优易两家公司在数据交易领域的探索和成就为数据交易市场的健康发展提供了借鉴。

Part4 大数据3.0：集成

数据交易这一新兴领域，它正成为数据资源的汇聚地，虽然其未来走向尚不明朗，但它在当前大数据交易野蛮生长的阶段，有望发挥出超出预期的积极作用。这个产品既有趣又充满价值，预示着数据交易领域的发展潜力和广阔前景。



11 数据交易：数据资源的汇聚地

数据城堡，一个汇聚大数据需求、顶尖人才和解决方案的竞赛平台。它借鉴了Kaggle的模式，旨在促进数据科学人才的成长和交流。平台举办了多场全国性大赛，吸引了大量参赛队伍，展示了数据挖掘的潜力。同时，Data Castle也面临着商业化运作的挑战，但其在促进大数据人才发展方面的贡献不可忽视。



12 数据城堡：数据人才的竞技场

创新工厂，一个数据技术的嘉年华，作者希望大数据分析和挖掘的价值得到充分展现，让精通这些技术的数据专家成为商业世界的宠儿。作者对未来充满期待，认为无论谁实现这一愿景，意义都相同。



13 创新工厂：数据技术的嘉年华

成为大数据企业的关键步骤，首先强调了全面数据化的重要性，即记录所有可能产生价值的数据。接着，阐述了建立数据标准和管理规范，确保数据资源的有效管理和隐私保护。此外，还提到了建设数据管理平台、培养数据分析能力、储备外部数据、建立数据创新能力和推动数据开放共享等步骤。最后，强调企业可以通过战略投资布局数据产业，实现大数据能力的提升和产业的快速发展。



为数据而生